tokenizer

Implementiere ein ChatGPT-ähnliches LLM in PyTorch von Grund auf, Schritt für Schritt.

Eine kleine Bibliothek zum Konvertieren von tokenisiertem PHP-Quellcode in XML (und potenziell andere Formate)

Sprachmodell-Tokenisierung mit GB/s

Ein nicht validierendes SQL-Parser-Modul für Python

Parser-Erstellungs-Toolkit für JavaScript

Online-Spielwiese für OpenAPI-Tokenisierer

Persisches NLP-Toolkit

Löst grundlegende russische NLP-Aufgaben, API für untere Natasha-Projekt-Ebenen

Eine Mikro-Bibliothek aus Stream-Komponenten zum Erstellen benutzerdefinierter JSON- und JSONC-Verarbeitungspipelines mit minimalem Speicherbedarf – parsen, filtern und transformieren Sie JSON, das viel größer als der verfügbare Speicher ist, mit einer SAX-inspirierten Token-API auf Node.js oder Web Streams.

Python-Bibliothek für die koreanische Natürliche-Sprachen-Verarbeitung (NLP). Bietet Funktionen für Worterkennung, Tokenisierung, POS-Tagging und Vorverarbeitung.

Eigenständiger japanischer morphologischer Analysator, geschrieben in reinem Go

Optimierter Tokenizer-/Lexer-Generator! 🐄 Nutzt /y für mehr Performance. Muh.

Eine SQLite3 fts5 Tokenizer-Erweiterung mit Unterstützung für Chinesisch und PinYin | Ein SQLite3 fts5 Tokenizer, der Chinesisch und PinYin unterstützt

Der schnellste JavaScript BPE Tokenizer Encoder Decoder für die GPT-Modelle von OpenAI (gpt-5, gpt-o*, gpt-4o etc.). Portierung von OpenAIs tiktoken mit zusätzlichen Funktionen.

Ein integriertes Korpus-Tool mit mehrsprachiger Unterstützung für das Studium von Sprache, Literatur und Übersetzung.

Ein Tool zur Textdatenannotation, das durch effiziente Workflows und algorithmisches Feedback den manuellen Aufwand reduziert. Der Prozess kombiniert manuelle Annotation mit automatischer Unterstützung und Korrektur, um die Präzision zu steigern. Erfordert eine Open-Source-Basis für das Rollenmanagement.

Ekphrasis ist ein Textverarbeitungswerkzeug für Texte aus sozialen Netzwerken wie Twitter oder Facebook. Es führt Tokenisierung, Wortnormalisierung, Wortsegmentierung (zum Aufteilen von Hashtags) und Rechtschreibkorrektur durch, basierend auf Wortstatistiken aus zwei großen Korpora (englische Wikipedia, Twitter mit 330 Millionen englischen Tweets).

Open Korean Text Processor – Ein Open-Source-Prozessor für koreanischen Text

Eine mehrsprachige morphologische Analysebibliothek.

Der schnelle Scanner-Generator für Java™ mit voller Unicode-Unterstützung

Schritt-für-Schritt-Implementierung der llama3-Inferenz, Verständnis der Kernkonzepte, Beherrschung der Prozessableitung und Implementierung des Codes.

Nicht-gieriger Subword-Tokenizer und Vokabultrainer für Python, Go, C++ und JavaScript

NodeJS PHP Parser – Extraktion von AST oder Tokens

Ein kompakter JavaScript-Tokenizer.

Ein Cython-MeCab-Wrapper für schnelle, pythonische japanische Tokenisierung und morphologische Analyse.

[NeurIPS 2025 Spotlight] Ein vereinheitlichter Tokenizer für visuelle Generierung und Verständnis

VSCode-Erweiterung zur Hervorhebung verschachtelter Codeblöcke.