go-senko

README

Senko

golangを使って実装した形態素解析器です。未実装フィーチャー多い。

辞書はmecab形式のcsvファイルを使っています。

How to run

% make preprocess
% make run
...

Decoding: 我輩は狐である
我輩,1285,1285,5618,名詞,一般,*,*,*,*,我輩,ワガハイ,ワガハイ
は,261,261,3865,助詞,係助詞,*,*,*,*,は,ハ,ワ
狐,1285,1285,5619,名詞,一般,*,*,*,*,狐,キツネ,キツネ
で,458,458,5856,助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
ある,1315,1315,4245,連体詞,*,*,*,*,*,ある,アル,アル
EOS

現状の制限事項

• CSVのipadicを使っているのでそもそもの辞書の読み込みが遅いです。
• 未知語は推定しません。