marcelroed/gigatoken

Tokenización de modelos de lenguaje a GB/s

↗ Abrir en GitHub

Estrellas

4075

Bifurcaciones

219

Lenguaje

Rust

Licencia

MIT

Último push

hace 6 días

Rust llm nlp tokenizer tokenization

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.