marcelroed/gigatoken

Tokenisasi model bahasa pada kecepatan GB/s

↗ Buka di GitHub

Bintang

4.075

Fork

219

Bahasa

Rust

Lisensi

MIT

Push terakhir

5 hari yang lalu

Rust llm nlp tokenizer tokenization

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.