openai/tiktoken
@openaitiktoken é um tokenizador BPE rápido para uso com os modelos da OpenAI.
Estrelas
19.148
Bifurcações
1.606
Linguagem
Python
Licença
MIT
Último push
há 3 semanas
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.