word-segmentation

ニューラルネットワークベースのテキスト生成のための教師なしテキストトークナイザ。

SymSpell: Symmetric Delete スペル修正アルゴリズムにより、スペル修正とあいまい検索を 100 万倍高速化

Pythonによるタイ語自然言語処理

SymSpell の Python 移植版：Symmetric Delete スペル修正アルゴリズムによる、100万倍高速なスペル修正とあいまい検索

Kiwi（インテリジェント韓国語形態素解析器）

Ekphrasis は、Twitter や Facebook などのソーシャルネットワーク上のテキストに特化したテキスト処理ツールです。2つの大規模コーパス（英語 Wikipedia、英語ツイート3億3千万件）の単語統計を使用し、トークン化、単語の正規化、単語の分割（ハッシュタグ用）、スペル修正を実行します。