marcelroed/gigatoken

Tokenização de modelos de linguagem a GB/s

↗ Abrir no GitHub

Estrelas

4.075

Bifurcações

219

Linguagem

Rust

Licença

MIT

Último push

há 1 semana

Rust llm nlp tokenizer tokenization

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.