lexemes

Documentation

Index

• Variables
• func CountLexemes(lexer ILexer) int
• func CountLexemesR(reader io.Reader) int
• type ILexer
  • func New(tokenizer tokens.ITokenizer) ILexer
  • func NewR(reader io.Reader) ILexer
  • func NewS(text string) ILexer
• type Lexeme
  • func NewLexeme(pos int, last bool, token tokens.Token) *Lexeme
  • func ReadLexemeList(lexer ILexer) []Lexeme
  • func ReadLexemeListS(text string) []Lexeme
  • func (l *Lexeme) Apply(pos int, last bool, token tokens.Token) *Lexeme
  • func (l *Lexeme) Copy() Lexeme
  • func (l *Lexeme) Finish() int
  • func (l *Lexeme) IsEof() bool
  • func (l *Lexeme) IsLastInStatement() bool
  • func (l *Lexeme) IsUndefined() bool
  • func (l *Lexeme) Len() int
  • func (l *Lexeme) Start() int
  • func (l *Lexeme) StatementPosition() int
  • func (l *Lexeme) Value() string

Variables

var NullLexeme = Lexeme{}

Functions

func CountLexemes

func CountLexemes(lexer ILexer) int

func CountLexemesR

func CountLexemesR(reader io.Reader) int

Types

type ILexer

type ILexer interface {
	Next() *Lexeme
}

func New

func New(tokenizer tokens.ITokenizer) ILexer

func NewR

func NewR(reader io.Reader) ILexer

func NewS

func NewS(text string) ILexer

type Lexeme

type Lexeme struct {
	// contains filtered or unexported fields
}

Lexeme описатель лексемы в тексте

func NewLexeme

func NewLexeme(pos int, last bool, token tokens.Token) *Lexeme

func ReadLexemeList

func ReadLexemeList(lexer ILexer) []Lexeme

func ReadLexemeListS

func ReadLexemeListS(text string) []Lexeme

func (*Lexeme) Apply

func (l *Lexeme) Apply(pos int, last bool, token tokens.Token) *Lexeme

func (*Lexeme) Copy

func (l *Lexeme) Copy() Lexeme

func (*Lexeme) Finish

func (l *Lexeme) Finish() int

func (*Lexeme) IsEof

func (l *Lexeme) IsEof() bool

func (*Lexeme) IsLastInStatement

func (l *Lexeme) IsLastInStatement() bool

func (*Lexeme) IsUndefined

func (l *Lexeme) IsUndefined() bool

func (*Lexeme) Len

func (l *Lexeme) Len() int

func (*Lexeme) Start

func (l *Lexeme) Start() int

func (*Lexeme) StatementPosition

func (l *Lexeme) StatementPosition() int

func (*Lexeme) Value

func (l *Lexeme) Value() string