niieani/gpt-tokenizer
@niieaniOpenAI के GPT मॉडल (gpt-5, gpt-o*, gpt-4o, आदि) के लिए सबसे तेज़ JavaScript BPE टोकेनाइज़र एनकोडर डिकोडर। अतिरिक्त सुविधाओं के साथ OpenAI के tiktoken का पोर्ट।
स्टार
840
फ़ोर्क
59
भाषा
TypeScript
लाइसेंस
MIT
आख़िरी push
4 सप्ताह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।