tokenizer

从头开始、一步步在 PyTorch 中实现类似 ChatGPT 的大型语言模型

一个小型库，用于将已标记的 PHP 源代码转换为 XML（以及可能的其他格式）

语言模型分词速度达 GB/s

A non-validating SQL parser module for Python

用于 JavaScript 的解析器构建工具包。

OpenAPI tokenizers 的在线游乐场

波斯语自然语言处理（NLP）工具包

解决基本的俄语 NLP 任务，提供底层 Natasha 项目的 API

一个具有极低内存占用的流组件微型库，用于构建自定义的 JSON 与 JSONC 处理管道 — 在 Node.js 或 Web Streams 上，通过受 SAX 启发的 Token API 来解析、过滤和转换远大于可用内存的 JSON。

用于韩语自然语言处理的 Python 库。提供词汇提取、分词器、词性标注与预处理功能。

使用纯 Go 编写的独立日文形态学分析器

优化的 tokenizer/lexer 生成器！🐄 使用 /y 来提升性能。哞。

支持中文和拼音的 SQLite fts5 全文搜索扩展 ｜ A SQLite3 fts5 tokenizer which supports Chinese and PinYin

适用于 OpenAI GPT 模型（gpt-5、gpt-o*、gpt-4o 等）的最快 JavaScript BPE Tokenizer 编码解码器。移植自 OpenAI 的 tiktoken 并附加额外功能。

一个支持多语言的集成语料库工具，用于语言、文学与翻译研究

数据标注是一款专门对文本数据进行处理和标注的工具，通过简化快捷的文本标注流程和动态算法反馈，支持用户快速标注关键词，并能通过算法持续减少人工标注的成本和时间。数据标注的过程先由人工标注构建基础，再由自动标注反哺人工标注，最后由人工标注进行纠偏，从而大幅提高标注的精准度和高效性。数据标注需要依赖开源的数字底座进行人员岗位管控。

Ekphrasis 是一个文本处理工具，专为来自 Twitter 或 Facebook 等社交网络的文本而设计。Ekphrasis 使用来自两个大型语料库（英文维基百科、Twitter - 3.3亿条英文推文）的单词统计数据，执行标记化、单词规范化、单词分割（用于分割 hashtag）和拼写校正。

开源韩文文本处理器 - 一个开源的韩文文本处理器

多语言形态学分析库。

具备完整 Unicode 支持的 Java™ 快速扫描器生成器

逐步实现 llama3 推理、掌握核心概念、掌握过程推导、实现代码。

适用于 Python、Go、C++ 与 Javascript 的非贪婪子词分词器与词表训练器

NodeJS PHP Parser - 提取 AST 或 Token

轻量级 JavaScript 标记解析器。

一个 Cython MeCab 封装，用于快速且符合 Python 风格的日文分词与形态分析。

[NeurIPS 2025 Spotlight] 用于视觉生成与理解的统一 Tokenizer

用于高亮显示嵌套代码块的 VSCode 扩展功能。