openai/tiktoken
@openaitiktoken, OpenAI के मॉडल के साथ उपयोग के लिए एक तेज़ BPE टोकनाइज़र है।
स्टार
19,148
फ़ोर्क
1,606
भाषा
Python
लाइसेंस
MIT
आख़िरी push
3 सप्ताह पहले
संबंधित intel (0)
अभी कोई संबंधित intel नहीं
यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।