tokenizer

Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

Una pequeña biblioteca para convertir código fuente PHP tokenizado en XML (y potencialmente otros formatos)

Tokenización de modelos de lenguaje a GB/s

Un módulo de análisis sintáctico de SQL no validador para Python

Toolkit de construcción de analizadores sintácticos para JavaScript

Entorno de pruebas en línea para tokenizadores de OpenAPI

Kit de herramientas de PNL en persa

Resuelve tareas básicas de PNL en ruso; API para proyectos de Natasha de bajo nivel.

Una microlibrería de componentes de flujo para construir pipelines de procesamiento de JSON y JSONC personalizados con un uso mínimo de memoria: analiza, filtra y transforma JSON mucho más grandes que la memoria disponible con una API de tokens inspirada en SAX, en Node.js o Web Streams.

Biblioteca de Python para el procesamiento de lenguaje natural en coreano. Ofrece funciones de extracción de palabras, tokenización, etiquetado gramatical y preprocesamiento.

Analizador morfológico japonés autónomo escrito en Go puro

¡Generador de tokenizador/lexer optimizado! Utiliza /y para mejorar el rendimiento.

Extensión de búsqueda de texto completo SQLite fts5 compatible con chino y Pinyin.

El codificador y decodificador BPE Tokenizer de JavaScript más rápido para los modelos GPT de OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Puerto de tiktoken de OpenAI con funciones adicionales.

Una herramienta de corpus integrada con soporte multilingüe para el estudio del lenguaje, la literatura y la traducción.

Herramienta de anotación de datos especializada en el procesamiento y etiquetado de datos textuales. A través de un flujo de trabajo simplificado y retroalimentación dinámica de algoritmos, permite a los usuarios etiquetar palabras clave rápidamente, reduciendo el costo y el tiempo de la anotación manual. El proceso combina la construcción de una base mediante anotación manual, el refuerzo con anotación automática y la corrección humana, mejorando significativamente la precisión y eficiencia.

Ekphrasis es una herramienta de procesamiento de texto orientada a redes sociales como Twitter o Facebook. Realiza tokenización, normalización de palabras, segmentación (para dividir hashtags) y corrección ortográfica, utilizando estadísticas de palabras de dos grandes corpus (Wikipedia en inglés y 330 millones de tuits en inglés).

Open Korean Text Processor: un procesador de texto en coreano de código abierto.

Una biblioteca de análisis morfológico multilingüe.

Generador de escáner rápido para Java™ con soporte completo para Unicode.

Realice la inferencia de llama3 paso a paso, comprenda los conceptos básicos, domine la derivación del proceso e implemente el código.

Tokenizador de subpalabras no codicioso y entrenador de vocabulario para Python, Go, C++ y Javascript

Analizador de PHP para NodeJS: extrae AST o tokens.

Tokenizador de JavaScript pequeño.

Un wrapper de Cython para MeCab que permite una tokenización y análisis morfológico del japonés rápido y al estilo Python.

[NeurIPS 2025 Spotlight] Un tokenizador unificado para la generación y comprensión visual.

Extensión de VSCode para resaltar bloques de código anidados.