openai/tiktoken
@openaitiktoken adalah tokeniser BPE cepat untuk digunakan dengan model OpenAI.
Bintang
19.148
Fork
1.606
Bahasa
Python
Lisensi
MIT
Push terakhir
3 minggu yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.