lexer

Documentation

Index

• Variables
• type Lexer
  • func LexerInit(content string, tree *map[string]uint8) *Lexer
  • func (l *Lexer) ChopChar(len int)
  • func (l *Lexer) FormatCode(tokens *[]*Token, swap *map[string]string) (res string)
  • func (l *Lexer) GetTokenContent(token *Token) string
  • func (l *Lexer) GetTokens() *[]*Token
  • func (l *Lexer) NextToken() *Token
  • func (l *Lexer) SetContent(content string)
  • func (l *Lexer) Trim()

Variables

var ImportedSymbs map[string]uint8 = make(map[string]uint8)

Types

type Lexer

type Lexer struct {
	Content      string
	Content_len  int
	Cursor       int
	Line         int
	LineStart    int
	KeywordsTree *map[string]uint8
}

func LexerInit

func LexerInit(content string, tree *map[string]uint8) *Lexer

func (*Lexer) ChopChar

func (l *Lexer) ChopChar(len int)

func (*Lexer) FormatCode

func (l *Lexer) FormatCode(tokens *[]*Token, swap *map[string]string) (res string)

func (*Lexer) GetTokenContent

func (l *Lexer) GetTokenContent(token *Token) string

func (*Lexer) GetTokens

func (l *Lexer) GetTokens() *[]*Token

func (*Lexer) NextToken

func (l *Lexer) NextToken() *Token

func (*Lexer) SetContent

func (l *Lexer) SetContent(content string)

func (*Lexer) Trim

func (l *Lexer) Trim()