tokenizer

PyTorchでChatGPTライクなLLMをゼロから段階的に実装。

トークン化されたPHPソースコードをXML（およびその他の形式）に変換するための小型ライブラリ。

言語モデルのトークン化をGB/sで実行

Python用の非検証型SQLパーサーモジュール。

JavaScript用パーサ構築ツールキット

OpenAPIトークナイザー向けのオンラインプレイグラウンド

ペルシャ語 NLP ツールキット

基本的なロシア語のNLPタスクを解決し、低レイヤーのNatashaプロジェクト向けAPIを提供するライブラリ

最小限のメモリフットプリントでカスタムの JSON および JSONC 処理パイプラインを構築するためのストリームコンポーネントのマイクロライブラリ — SAX にインスパイアされたトークン API を使用して、Node.js または Web Streams上で利用可能なメモリよりもはるかに大きな JSON をパース、フィルタリング、変換します。

韓国語の自然言語処理用 Python ライブラリ。単語抽出、トークナイザー、品詞タグ付け、前処理機能を提供します。

純粋な Go で書かれた、外部依存のない日本語形態素解析器

最適化されたトークナイザー／レキサー生成ツール！ 🐄 パフォーマンス向上のために /y フラグを使用。

中国語とピンインをサポートする SQLite fts5 全文検索拡張機能 ｜ A SQLite3 fts5 tokenizer which supports Chinese and PinYin

OpenAI の GPT モデル（gpt-5、gpt-o*、gpt-4o など）向けの最速 JavaScript BPE トークナイザー エンコーダー デコーダー。追加機能を備えた OpenAI の tiktoken の移植版。

言語、文学、翻訳研究のための多言語サポートを備えた統合コーパスツール。

データアノテーションツールは、テキストデータの処理とアノテーションに特化したツールです。簡素化された迅速なテキストアノテーションプロセスと動的なアルゴリズムフィードバックにより、ユーザーがキーワードを迅速にアノテーションできるようサポートし、アルゴリズムを通じて手動アノテーションのコストと時間を継続的に削減します。アノテーションのプロセスは、まず手動アノテーションによって基礎を構築し、次に自動アノテーションが手動アノテーションにフィードバックを行い、最終的に手動アノテーションによって修正を行うことで、アノテーションの精度と効率を大幅に向上させます。データアノテーションは、人員と役割の管理のためにオープンソースのデジタル基盤に依存しています。

Ekphrasis は、Twitter や Facebook などのソーシャルネットワーク上のテキストに特化したテキスト処理ツールです。2つの大規模コーパス（英語 Wikipedia、英語ツイート3億3千万件）の単語統計を使用し、トークン化、単語の正規化、単語の分割（ハッシュタグ用）、スペル修正を実行します。

オープンソースの韓国語テキスト処理プロセッサ

多言語形態素解析ライブラリ。

完全な Unicode をサポートする、Java 向けの高速なスキャナジェネレータ

llama3の推論をステップバイステップで実現し、コア概念を理解し、プロセスの導出をマスターし、コードを実装する。

Python、Go、C++、Javascript 向けの貪欲でないサブワードトークナイザーおよびボキャブラリートレーナー

🌿 NodeJS PHP Parser - AST やトークンの抽出

軽量な JavaScript トークナイザー。

高速でPythonらしい日本語のトークン化と形態素解析を行うためのCython製MeCabラッパー。

[NeurIPS 2025 Spotlight] 視覚生成と理解のための統合トークナイザー

ネストされたコードブロックをハイライトするVSCode拡張機能