tokenizer

Implemente um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

Uma pequena biblioteca para converter código-fonte PHP tokenizado em XML (e potencialmente outros formatos).

Tokenização de modelos de linguagem a GB/s

Um módulo de análise de SQL não validante para Python

Kit de ferramentas para construção de parsers em JavaScript

Playground online para tokenizadores OpenAPI

Toolkit de PLN para persa.

Resolve tarefas básicas de PLN em russo, API para projetos Natasha de baixo nível.

Uma microlib de componentes de fluxo para construir pipelines de processamento JSON e JSONC personalizados com consumo mínimo de memória — analise, filtre e transforme JSON muito maior do que a memória disponível com uma API de tokens inspirada em SAX, no Node.js ou Web Streams.

Biblioteca Python para processamento de linguagem natural em coreano. Fornece recursos de extração de palavras, tokenizador, etiquetagem de parte do discurso (POS) e pré-processamento.

Analisador morfológico japonês autossuficiente escrito em Go puro

Gerador de tokenizer/lexer otimizado! 🐄 Usa /y para desempenho. Moo.

Extensão de busca de texto completo SQLite fts5 com suporte a chinês e Pinyin

O codificador e decodificador BPE Tokenizer em JavaScript mais rápido para os modelos GPT da OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Versão portada do tiktoken da OpenAI com recursos adicionais.

Uma ferramenta de corpus integrada com suporte multilíngue para o estudo de linguagem, literatura e tradução

Ferramenta de anotação de dados especializada no processamento e rotulagem de dados de texto. Através de fluxos de trabalho simplificados e feedback algorítmico dinâmico, permite que os usuários rotulem palavras-chave rapidamente, reduzindo custos e tempo de anotação manual. O processo combina anotação manual inicial, rotulagem automática e correção humana para aumentar a precisão e a eficiência.

O Ekphrasis é uma ferramenta de processamento de texto voltada para textos de redes sociais, como Twitter ou Facebook. O Ekphrasis realiza tokenização, normalização de palavras, segmentação de palavras (para divisão de hashtags) e correção ortográfica, utilizando estatísticas de palavras de dois grandes corpora (Wikipedia em inglês, Twitter - 330 milhões de tweets em inglês).

Processador de Texto Coreano Aberto - Um processador de texto coreano de código aberto

Uma biblioteca multilíngue de análise morfológica.

O gerador de analisadores rápidos para Java™ com suporte completo a Unicode

Implemente a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e escreva o código.

Tokenizador de subpalavras não guloso e treinador de vocabulário para Python, Go, C++ e Javascript

:herb: NodeJS PHP Parser - extraia AST ou tokens

Tokenizador JavaScript minúsculo.

Um wrapper Cython para o MeCab, permitindo tokenização e análise morfológica em japonês rápidas e no estilo Python.

[NeurIPS 2025 Spotlight] Um Tokenizador Unificado para Geração e Compreensão Visual

Extensão do VSCode para destacar blocos de código aninhados