niieani/gpt-tokenizer

適用於 OpenAI GPT 模型（gpt-5、gpt-o*、gpt-4o 等）的最快 JavaScript BPE Tokenizer 編碼解碼器。移植自 OpenAI 的 tiktoken 並附加額外功能。

↗ 在 GitHub 開啟

星數

840

Fork 數

59

語言

TypeScript

授權

MIT

最後推送

4 週前

TypeScript openai machine-learning decoder encoder tokenizer gpt-3 gpt-4 gpt-4o gpt-2 gpt-5 bpe gpt-o1

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。