lexer

Documentation

Index

• type Kind
  • func (k Kind) String() string
• type LexError
  • func (e *LexError) Error() string
  • func (e *LexError) Unwrap() error
• type Lexer
  • func NewLexer(input string) *Lexer
  • func (l *Lexer) Lex() (Tokens, error)
• type Token
• type Tokens
  • func (ts Tokens) String() string

Types

type Kind

type Kind int

const (
	KindUnknown Kind = iota
	KindEOF
	KindSpace
	KindNewline
	KindIdentifier
	KindPlaceholder
	KindNamedPlaceholder
	KindString
	KindNumber
	KindSymbol
	KindComment
)

func (Kind) String

func (k Kind) String() string

type LexError

type LexError struct {
	Pos int
	Err error
}

func (*LexError) Error

func (e *LexError) Error() string

func (*LexError) Unwrap

func (e *LexError) Unwrap() error

type Lexer

type Lexer struct {
	// contains filtered or unexported fields
}

func NewLexer

func NewLexer(input string) *Lexer

func (*Lexer) Lex

func (l *Lexer) Lex() (Tokens, error)

type Token

type Token struct {
	Kind  Kind
	Value string
}

type Tokens

type Tokens []Token

func (Tokens) String

func (ts Tokens) String() string