file

Documentation

Index

• func FindLineChunks(file *os.File, chunkSize int64) [][2]int64
• func IsDir(path string) (bool, error)
• func LineCount(filePath string) int
• func PathExist(path string) (bool, error)
• func Paths(dir string) []string
• func ReadBlockHook(filePath string, bufferSize int, hook func(data []byte)) error
• func ReadLine(filePath string, hook func(line string)) error
• func ReadLineWithParallel(filename string, chunkSize int64, handlerFunc func(string)) error
• func ReadOnce(filePath string) ([]byte, error)
• func WriterFile(filePath string, content []byte) error

Functions

func FindLineChunks

func FindLineChunks(file *os.File, chunkSize int64) [][2]int64

FindLineChunks 查找文件按照每行划分的分块，每个分块的大小将在 chunkSize 和分割后的分块距离行首及行尾的距离中范围内

• 使用该函数得到的分块是完整的行，不会出现行被分割的情况
• 当过程中发生错误将会发生 panic
• 返回值的成员是一个长度为 2 的数组，第一个元素是分块的起始位置，第二个元素是分块的结束位置

func IsDir

func IsDir(path string) (bool, error)

IsDir 路径是否是文件夹

func LineCount

func LineCount(filePath string) int

LineCount 统计文件行数

func PathExist

func PathExist(path string) (bool, error)

PathExist 路径是否存在

func Paths

func Paths(dir string) []string

Paths 获取指定目录下的所有文件路径

• 包括了子目录下的文件
• 不包含目录

func ReadBlockHook

func ReadBlockHook(filePath string, bufferSize int, hook func(data []byte)) error

ReadBlockHook 分块读取文件

• 将filePath路径对应的文件数据并将读到的每一部分传入hook函数中，当过程中如果产生错误则会返回error。
• 分块读取可以在读取速度和内存消耗之间有一个很好的平衡。

func ReadLine

func ReadLine(filePath string, hook func(line string)) error

ReadLine 分行读取文件

• 将filePath路径对应的文件数据并将读到的每一行传入hook函数中，当过程中如果产生错误则会返回error。

func ReadLineWithParallel

func ReadLineWithParallel(filename string, chunkSize int64, handlerFunc func(string)) error

ReadLineWithParallel 并行的分行读取文件并行处理，处理过程中会将每一行的内容传入 handlerFunc 中进行处理，当过程中如果产生错误则会发生 panic，过程前发生错误将会返回 error

• 由于是并行处理，所以处理过程中的顺序是不确定的。

func ReadOnce

func ReadOnce(filePath string) ([]byte, error)

ReadOnce 单次读取文件

• 一次性对整个文件进行读取，小文件读取可以很方便的一次性将文件内容读取出来，而大文件读取会造成性能影响。

func WriterFile

func WriterFile(filePath string, content []byte) error

WriterFile 向特定文件写入内容