tokenization
Repositórios de código aberto acompanhados marcados com tokenization, ordenados por estrelas.
Tópicos relacionados
Tópicos que aparecem com frequência ao lado de tokenization no mesmo repositório.
Em ascensão recentemente
Repositórios criados nos últimos 90 dias e marcados com tokenization.
Nenhum repositório novo marcado com este tópico nos últimos 90 dias.
- #1★ 33.861+23Variação de estrelas nos últimos 7 dias
- #2
🎒 Token-Oriented Object Notation (TOON) – serialização compacta e legível por humanos de dados JSON para prompts de LLM. TypeScript SDK, CLI, benchmarks.
★ 25.275+55Variação de estrelas nos últimos 7 dias - #3★ 4.067+18Variação de estrelas nos últimos 7 dias
- #4★ 2.005+0Variação de estrelas nos últimos 7 dias
- #5
Cofre seguro para registros de clientes PII/PHI/PCI/KYC
★ 1.483+1Variação de estrelas nos últimos 7 dias - #6
LunaSec - Scanner de segurança de dependências que notifica automaticamente sobre vulnerabilidades como Log4Shell ou node-ipc em seus Pull Requests e Builds. Proteja-se em 30 segundos com o aplicativo LunaTrace para GitHub: https://github.com/marketplace/lunatrace-by-lunasec/
★ 1.469+0Variação de estrelas nos últimos 7 dias - #7★ 1.119+2Variação de estrelas nos últimos 7 dias
- #8
Componentes e visualizadores spaCy para aplicações Streamlit
★ 860+0Variação de estrelas nos últimos 7 dias - #9
Trankit é um kit de ferramentas Python leve baseado em Transformer para Processamento de Linguagem Natural Multilíngue
★ 798+2Variação de estrelas nos últimos 7 dias - #10
O Ekphrasis é uma ferramenta de processamento de texto voltada para textos de redes sociais, como Twitter ou Facebook. O Ekphrasis realiza tokenização, normalização de palavras, segmentação de palavras (para divisão de hashtags) e correção ortográfica, utilizando estatísticas de palavras de dois grandes corpora (Wikipedia em inglês, Twitter - 330 milhões de tweets em inglês).
★ 673-1Variação de estrelas nos últimos 7 dias - #11
Tokenizador de subpalavras não guloso e treinador de vocabulário para Python, Go, C++ e Javascript
★ 627+0Variação de estrelas nos últimos 7 dias - #12
Pipeline de Processamento de Linguagem Natural - Divisão de Frases, Tokenização, Lematização, Etiquetagem de Classes Gramaticais e Análise de Dependência
★ 562+0Variação de estrelas nos últimos 7 dias - #13
PHP Text Analysis é uma biblioteca para realizar tarefas de Recuperação de Informação (IR) e Processamento de Linguagem Natural (NLP) usando a linguagem PHP
★ 534+0Variação de estrelas nos últimos 7 dias
