huggingface/tokenizers

💥 为研究与生产优化的快速最先进分词器

↗ 在 GitHub 打开

星数

11,008

Fork 数

1,186

语言

Rust

许可

Apache-2.0

最后推送

5天前

Rust gpt language-model transformers nlp natural-language-processing bert natural-language-understanding

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。