karpathy/minbpe
@karpathyKode minimal dan bersih untuk algoritma Byte Pair Encoding (BPE) yang umum digunakan dalam tokenisasi LLM.
Bintang
10.702
Fork
1.094
Bahasa
Python
Lisensi
MIT
Push terakhir
2 tahun yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.