marcelroed/gigatoken

语言模型分词速度达 GB/s

↗ 在 GitHub 打开

星数

4,075

Fork 数

219

语言

Rust

许可

MIT

最后推送

1周前

Rust llm nlp tokenizer tokenization

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。