tokenizer

Documentation

Index

• Constants
• Variables
• type PIITokenizer
  • func NewPIITokenizer() *PIITokenizer
  • func (PIITokenizer) Init(s *ragel.State) (int, int)
  • func (PIITokenizer) Run(s *ragel.State, p, pe, eof int) (int, int)
  • func (*PIITokenizer) TokenString(t ragel.Token) string

Constants

const (
	TokenString ragel.Token = iota
	TokenURL
	TokenIPv4
	TokenEmail
	TokenFQDN
	TokenPhone
	TokenSSN
	TokenCCN
)

Token types

Variables

var TokenNames = map[ragel.Token]string{
	TokenString: "String",
	TokenURL:    "URL",
	TokenIPv4:   "IPv4",
	TokenEmail:  "Email",
	TokenFQDN:   "FQDN",
	TokenPhone:  "Phone",
	TokenSSN:    "SSN",
	TokenCCN:    "CCN",
}

Types

type PIITokenizer

type PIITokenizer struct{}

func NewPIITokenizer

func NewPIITokenizer() *PIITokenizer

func (PIITokenizer) Init

func (PIITokenizer) Init(s *ragel.State) (int, int)

func (PIITokenizer) Run

func (PIITokenizer) Run(s *ragel.State, p, pe, eof int) (int, int)

func (*PIITokenizer) TokenString

func (*PIITokenizer) TokenString(t ragel.Token) string