tokenization

💫 産業レベルの自然言語処理 (NLP) を Python で実現

🎒 Token-Oriented Object Notation (TOON) – LLMプロンプト用のコンパクトで人間が読みやすいJSONデータのシリアライゼーション。TypeScript SDK、CLI、ベンチマーク付き。

言語モデルのトークン化をGB/sで実行

400以上のLLMに対応した簡単なトークン価格見積もりツール TokenOps

顧客のPII、PHI、PCI、KYCレコードを保護するセキュアなVault

LunaSec - Pull Request やビルドにおける Log4Shell や node-ipc などの脆弱性を自動的に通知する依存関係セキュリティスキャナ。LunaTrace GitHub App を使って 30 秒で身を守る: https://github.com/marketplace/lunatrace-by-lunasec/

Ravencoin Coreの統合/ステージングツリー

👑 Streamlitアプリ向けのspaCyビルディングブロックとビジュアライザー

Trankit は、多言語自然言語処理のための軽量な Transformer ベース Python ツールキットです

Ekphrasis は、Twitter や Facebook などのソーシャルネットワーク上のテキストに特化したテキスト処理ツールです。2つの大規模コーパス（英語 Wikipedia、英語ツイート3億3千万件）の単語統計を使用し、トークン化、単語の正規化、単語の分割（ハッシュタグ用）、スペル修正を実行します。

Python、Go、C++、Javascript 向けの貪欲でないサブワードトークナイザーおよびボキャブラリートレーナー

自然言語処理パイプライン - 文分割、トークン化、見出し語化、品詞タギング、依存構文解析

PHP Text Analysisは、PHP言語を使用して情報検索（IR）および自然言語処理（NLP）タスクを実行するためのライブラリです。