input

Documentation

Index

• type FileToProcess
  • func NewFileToProcess(filename, fileType string, schema interface{}) FileToProcess
• type Input
  • func NewInput(fileToProcess FileToProcess) Input
  • func NewKeyValue(key, value writers.WriterReader) Input
  • func NewLocalFile(fileToProcess FileToProcess) Input
  • func NewParquetFile(fileToProcess FileToProcess) Input
  • func NewS3File(fileToProcess FileToProcess) Input
  • func NewValue(value writers.WriterReader) Input
• type KeyValue
  • func (i *KeyValue) Bytes() ([]byte, []byte)
  • func (i *KeyValue) Close()
  • func (i *KeyValue) Err() (error, error)
  • func (i *KeyValue) GetType() string
  • func (i *KeyValue) Init() error
  • func (i *KeyValue) Scan() bool
• type LocalFile
  • func (i *LocalFile) Bytes() ([]byte, []byte)
  • func (i *LocalFile) Close()
  • func (i *LocalFile) Err() (error, error)
  • func (i *LocalFile) GetType() string
  • func (i *LocalFile) Init() error
  • func (i *LocalFile) Scan() bool
• type ParquetFile
  • func (i *ParquetFile) Bytes() ([]byte, []byte)
  • func (i *ParquetFile) Close()
  • func (i *ParquetFile) Err() (error, error)
  • func (i *ParquetFile) GetType() string
  • func (i *ParquetFile) Init() error
  • func (i *ParquetFile) Scan() bool
• type S3File
  • func (i *S3File) Bytes() ([]byte, []byte)
  • func (i *S3File) Close()
  • func (i *S3File) Err() (error, error)
  • func (i *S3File) GetType() string
  • func (i *S3File) Init() error
  • func (i *S3File) Scan() bool
• type Value
  • func (i *Value) Bytes() ([]byte, []byte)
  • func (i *Value) Close()
  • func (i *Value) Err() (error, error)
  • func (i *Value) GetType() string
  • func (i *Value) Init() error
  • func (i *Value) Scan() bool

Types

type FileToProcess

type FileToProcess struct {
	// contains filtered or unexported fields
}

func NewFileToProcess

func NewFileToProcess(filename, fileType string, schema interface{}) FileToProcess

type Input

type Input interface {
	Init() error
	Close()
	Scan() bool
	Bytes() ([]byte, []byte)
	Err() (error, error)
	GetType() string
}

func NewInput

func NewInput(fileToProcess FileToProcess) Input

func NewKeyValue

func NewKeyValue(key, value writers.WriterReader) Input

func NewLocalFile

func NewLocalFile(fileToProcess FileToProcess) Input

func NewParquetFile

func NewParquetFile(fileToProcess FileToProcess) Input

func NewS3File

func NewS3File(fileToProcess FileToProcess) Input

func NewValue

func NewValue(value writers.WriterReader) Input

type KeyValue

type KeyValue struct {
	// contains filtered or unexported fields
}

func (*KeyValue) Bytes

func (i *KeyValue) Bytes() ([]byte, []byte)

func (*KeyValue) Close

func (i *KeyValue) Close()

func (*KeyValue) Err

func (i *KeyValue) Err() (error, error)

func (*KeyValue) GetType

func (i *KeyValue) GetType() string

func (*KeyValue) Init

func (i *KeyValue) Init() error

func (*KeyValue) Scan

func (i *KeyValue) Scan() bool

type LocalFile

type LocalFile struct {
	// contains filtered or unexported fields
}

func (*LocalFile) Bytes

func (i *LocalFile) Bytes() ([]byte, []byte)

func (*LocalFile) Close

func (i *LocalFile) Close()

func (*LocalFile) Err

func (i *LocalFile) Err() (error, error)

func (*LocalFile) GetType

func (i *LocalFile) GetType() string

func (*LocalFile) Init

func (i *LocalFile) Init() error

func (*LocalFile) Scan

func (i *LocalFile) Scan() bool

type ParquetFile

type ParquetFile struct {
	// contains filtered or unexported fields
}

func (*ParquetFile) Bytes

func (i *ParquetFile) Bytes() ([]byte, []byte)

func (*ParquetFile) Close

func (i *ParquetFile) Close()

func (*ParquetFile) Err

func (i *ParquetFile) Err() (error, error)

func (*ParquetFile) GetType

func (i *ParquetFile) GetType() string

func (*ParquetFile) Init

func (i *ParquetFile) Init() error

func (*ParquetFile) Scan

func (i *ParquetFile) Scan() bool

type S3File

type S3File struct {
	// contains filtered or unexported fields
}

func (*S3File) Bytes

func (i *S3File) Bytes() ([]byte, []byte)

func (*S3File) Close

func (i *S3File) Close()

func (*S3File) Err

func (i *S3File) Err() (error, error)

func (*S3File) GetType

func (i *S3File) GetType() string

func (*S3File) Init

func (i *S3File) Init() error

func (*S3File) Scan

func (i *S3File) Scan() bool

type Value

type Value struct {
	// contains filtered or unexported fields
}

func (*Value) Bytes

func (i *Value) Bytes() ([]byte, []byte)

func (*Value) Close

func (i *Value) Close()

func (*Value) Err

func (i *Value) Err() (error, error)

func (*Value) GetType

func (i *Value) GetType() string

func (*Value) Init

func (i *Value) Init() error

func (*Value) Scan

func (i *Value) Scan() bool