chardet

package
v1.5.1 Latest Latest
Warning

This package is not in the latest version of its module.

Go to latest
Published: Dec 10, 2023 License: MIT Imports: 12 Imported by: 0

README

chardet

detect text encoding, like python chardet, but for go

本包用于探测文本的编码格式。

支持探测的格式有: 5种unicode格式:UTF8、大小端UTF16,大小端UTF32; 4种中文格式:hz-gb2312、gbk、gb18030、big5; 3种日文格式euc-jp、shift-jis、iso-2022-jp; 1种日文格式euc-kr; 不支持其他语种和编码格式的探测。

本包有四个函数:

// 本函数返回文本最可能的编码格式
func Mostlike([]byte) string

// 本函数返回文本所有可能的编码格式,可能性越高越靠前
func Possible([]byte) []string

// 用于解码从r读取的文本
func NewReader(r io.Reader, codec string, data []byte) (io.Reader, error) 

// 用于将文本编码后写入w
func NeWriter(w io.Writer, codec string, bom bool) (io.Writer, error)

Mostlike函数如果无法探测到编码格式,会返回空字符串。 如果发现该文本符合多个编码格式,会优先返回utf-8格式; 否则会进一步检测字符分布,返回最匹配的。

Possible函数会返回全部可能的编码格式,utf-8格式优先于其他unicode格式; 会根据字符分布来排布各个格式,使可能性越高的越靠前。

各编码格式对应字符串如下

  • UTF8 "utf-8"
  • UTF16 Big-Ending "utf-16be"
  • UTF16 Little-Ending "utf-16le"
  • UTF32 Big-Ending "utf-32be"
  • UTF32 Little-Ending "utf-32le"
  • HZ-GB2312 "hz-gb2312"
  • GBK "gbk"
  • GB18030 "gb18030"
  • BIG5 "big5"
  • Euc-Kr "euc-kr"
  • Euc-Jp "euc-jp"
  • Shift-Jis "shift-jis"
  • ISO-2022-JP "iso-2022-jp"

Documentation

Index

Constants

This section is empty.

Variables

View Source
var (
	UTF32BE = &utf32be{}
	UTF32LE = &utf32le{}
)

提供给用户使用的并发安全的编解码器接口

View Source
var Codec = map[string]encoding.Encoding{
	"utf-8":    encoding.Nop,
	"utf-16be": unicode.UTF16(unicode.BigEndian, unicode.IgnoreBOM),
	"utf-16le": unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM),

	"hz-gb2312":   simplifiedchinese.HZGB2312,
	"gbk":         simplifiedchinese.GBK,
	"big5":        traditionalchinese.Big5,
	"gb18030":     simplifiedchinese.GB18030,
	"euc-kr":      korean.EUCKR,
	"euc-jp":      japanese.EUCJP,
	"iso-2022-jp": japanese.ISO2022JP,
	"shift-jis":   japanese.ShiftJIS,
}

Codec映射编码格式字符串到对应的编解码器,因此不需在导入encoding等包

View Source
var ErrUnknown = errors.New("unknown codec")

提供的编码格式字符串未知时,会返回本错误

Functions

func Mostlike

func Mostlike(data []byte) string

本函数返回文本最可能的编码格式

func NeWriter

func NeWriter(w io.Writer, codec string, bom bool) (io.Writer, error)

函数返回一个Writer接口,该接口将提供的数据编码后写入w; codec参数指定编码格式,如果bom为真,会在w开始处写入BOM标识。

func NewReader

func NewReader(r io.Reader, codec string, data []byte) (io.Reader, error)

函数返回一个Reader接口,该接口将从r读取的数据解码后返回; codec参数指定编码格式,data为从r读取以检测编码格式的数据; 函数会首先解码data,以便返回完整的解码后文本,会自动处理BOM。

func Possible

func Possible(data []byte) []string

本函数返回文本所有可能的编码格式,可能性越高越靠前

Types

This section is empty.

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL