tokenization

💫 工業級自然語言處理（NLP）於 Python

🎒 Token-Oriented Object Notation (TOON) – 為 LLM 提示設計的緊湊、易讀 JSON 序列化。提供 TypeScript SDK、CLI 與效能基準。

語言模型分詞速度達 GB/s

超過 400 種 LLM 的簡易 Token 價格估算工具。TokenOps。

用於客戶 PII/PHI/PCI/KYC 記錄的安全 Vault

LunaSec - 依賴性安全性掃描器，可在你的 Pull Requests 與建置中自動通知漏洞（如 Log4Shell 或 node-ipc）。透過 LunaTrace GitHub App 在 30 秒內保護你的專案：https://github.com/marketplace/lunatrace-by-lunasec/

Ravencoin Core 整合與暫存樹

👑 適用於 Streamlit 應用程式的 spaCy 建構區塊與視覺化工具

Trankit 是一個用於多語言自然語言處理的輕量級 Transformer 型 Python 工具包

Ekphrasis 是一個文字處理工具，專為來自 Twitter 或 Facebook 等社群網路的文字而設計。Ekphrasis 使用來自兩個大型語料庫（英文維基百科、Twitter - 3.3億條英文推文）的單字統計數據，執行標記化、單字正規化、單字分割（用於分割 hashtag）和拼字校正。

適用於 Python、Go、C++ 與 Javascript 的非貪婪子詞分詞器與詞表訓練器

自然語言處理管線 - 句子分割、斷詞、詞形還原、詞性標註與依存句法分析

PHP Text Analysis 是一個使用 PHP 語言執行資訊檢索 (IR) 與自然語言處理 (NLP) 任務的函式庫