huggingface/tokenizers

💥 為研究與生產優化的快速最先進分詞器

↗ 在 GitHub 開啟

星數

11,008

Fork 數

1,186

語言

Rust

授權

Apache-2.0

最後推送

4 天前

Rust gpt language-model transformers nlp natural-language-processing bert natural-language-understanding

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。