niieani/gpt-tokenizer

适用于 OpenAI GPT 模型（gpt-5、gpt-o*、gpt-4o 等）的最快 JavaScript BPE Tokenizer 编码解码器。移植自 OpenAI 的 tiktoken 并附加额外功能。

↗ 在 GitHub 打开

星数

841

Fork 数

59

语言

TypeScript

许可

MIT

最后推送

4周前

TypeScript openai machine-learning decoder encoder tokenizer gpt-3 gpt-4 gpt-4o gpt-2 gpt-5 bpe gpt-o1

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。