tokenization

💫 工业级自然语言处理（NLP）于 Python

🎒 Token-Oriented Object Notation (TOON) – 为 LLM 提示设计的紧凑、易读 JSON 序列化。提供 TypeScript SDK、CLI 与基准测试。

语言模型分词速度达 GB/s

超过 400 种 LLM 的简易 Token 价格估算工具。TokenOps。

用于客户 PII/PHI/PCI/KYC 记录的安全 Vault

LunaSec - 依赖性安全性扫描器，可在你的 Pull Requests 与构建中自动通知漏洞（如 Log4Shell 或 node-ipc）。透过 LunaTrace GitHub App 在 30 秒内保护你的项目：https://github.com/marketplace/lunatrace-by-lunasec/

Ravencoin Core 集成与暂存树

👑 适用于 Streamlit 应用程序的 spaCy 构建块与可视化工具

Trankit 是一个用于多语言自然语言处理的轻量级 Transformer 型 Python 工具包

Ekphrasis 是一个文本处理工具，专为来自 Twitter 或 Facebook 等社交网络的文本而设计。Ekphrasis 使用来自两个大型语料库（英文维基百科、Twitter - 3.3亿条英文推文）的单词统计数据，执行标记化、单词规范化、单词分割（用于分割 hashtag）和拼写校正。

适用于 Python、Go、C++ 与 Javascript 的非贪婪子词分词器与词表训练器

自然语言处理管线 - 句子分割、分词、词形还原、词性标注与依存句法分析

PHP Text Analysis 是一个使用 PHP 语言执行信息检索 (IR) 与自然语言处理 (NLP) 任务的函式库