niieani/gpt-tokenizer

Encoder Decoder BPE Tokenizer JavaScript tercepat untuk model GPT OpenAI (gpt-5, gpt-o*, gpt-4o, dll.). Porting dari tiktoken milik OpenAI dengan fitur tambahan.

↗ Buka di GitHub

Bintang

841

Fork

Bahasa

TypeScript

Lisensi

MIT

Push terakhir

4 minggu yang lalu

TypeScript openai machine-learning decoder encoder tokenizer gpt-3 gpt-4 gpt-4o gpt-2 gpt-5 bpe gpt-o1

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.

Intel terkait (0)

Belum ada intel terkait