tokenizer

Documentation

Index

• Constants
• Variables
• type PIITokenizer
  • func NewPIITokenizer() *PIITokenizer
  • func (PIITokenizer) Init(s *ragel.State) (int, int)
  • func (PIITokenizer) Run(s *ragel.State, p, pe, eof int) (int, int)
  • func (*PIITokenizer) TokenString(t ragel.Token) string

Constants

const (
	TokenString ragel.Token = iota
	TokenUrl
	TokenIPv4
	TokenIPv6
	TokenEmail
	TokenFQDN
)

Token types

Variables

var TokenNames = map[ragel.Token]string{
	TokenString: "String",
	TokenUrl:    "Url",
	TokenIPv4:   "IPv4",
	TokenIPv6:   "IPv6",
	TokenEmail:  "Email",
	TokenFQDN:   "FQDN",
}

Types

type PIITokenizer

type PIITokenizer struct{}

func NewPIITokenizer

func NewPIITokenizer() *PIITokenizer

func (PIITokenizer) Init

func (PIITokenizer) Init(s *ragel.State) (int, int)

func (PIITokenizer) Run

func (PIITokenizer) Run(s *ragel.State, p, pe, eof int) (int, int)

func (*PIITokenizer) TokenString

func (*PIITokenizer) TokenString(t ragel.Token) string