alasdairforsythe/tokenmonster

@alasdairforsythe

Tokenizador de subpalavras não guloso e treinador de vocabulário para Python, Go, C++ e Javascript

↗ Abrir no GitHub

Estrelas

627

Bifurcações

23

Linguagem

Go

Licença

MIT

Último push

há 2 meses

Go tokenizer tokenization vocabulary text-tokenization tokenisation tokenize tokenizing vocabulary-builder vocabulary-generator

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.