tokenization
Erfasste Open-Source-Repos mit dem Tag tokenization, sortiert nach Sternen.
Verwandte Themen
Themen, die häufig gemeinsam mit tokenization am selben Repo auftauchen.
Neue Aufsteiger
Repos, die in den letzten 90 Tagen erstellt und mit tokenization getaggt wurden.
In den letzten 90 Tagen kam kein neues Repo mit diesem Thema dazu.
- #1★ 33.861+23Sterne-Änderung der letzten 7 Tage
- #2
🎒 Token-Oriented Object Notation (TOON) – kompakte, menschenlesbare Serialisierung von JSON-Daten für LLM-Anfragen. TypeScript SDK, CLI, Benchmarks.
★ 25.275+55Sterne-Änderung der letzten 7 Tage - #3★ 4.067+18Sterne-Änderung der letzten 7 Tage
- #4★ 2.005+0Sterne-Änderung der letzten 7 Tage
- #5
Sicherer Tresor für Kunden-PII/PHI/PCI/KYC-Datensätze
★ 1.484+1Sterne-Änderung der letzten 7 Tage - #6
LunaSec - Dependency Security Scanner, der Sie automatisch über Schwachstellen wie Log4Shell oder node-ipc in Ihren Pull Requests und Builds benachrichtigt. Schützen Sie sich in 30 Sekunden mit der LunaTrace GitHub App: https://github.com/marketplace/lunatrace-by-lunasec/
★ 1.469+0Sterne-Änderung der letzten 7 Tage - #7★ 1.119+2Sterne-Änderung der letzten 7 Tage
- #8
👑 spaCy Bausteine und Visualisierungen für Streamlit-Anwendungen
★ 860+0Sterne-Änderung der letzten 7 Tage - #9
Trankit ist ein leichtgewichtinales, Transformer-basiertes Python-Toolkit für mehrsprachige natürliche Sprachverarbeitung
★ 798+2Sterne-Änderung der letzten 7 Tage - #10
Ekphrasis ist ein Textverarbeitungswerkzeug für Texte aus sozialen Netzwerken wie Twitter oder Facebook. Es führt Tokenisierung, Wortnormalisierung, Wortsegmentierung (zum Aufteilen von Hashtags) und Rechtschreibkorrektur durch, basierend auf Wortstatistiken aus zwei großen Korpora (englische Wikipedia, Twitter mit 330 Millionen englischen Tweets).
★ 673-1Sterne-Änderung der letzten 7 Tage - #11
Nicht-gieriger Subword-Tokenizer und Vokabultrainer für Python, Go, C++ und JavaScript
★ 627+0Sterne-Änderung der letzten 7 Tage - #12
Pipeline für natürliche Sprachverarbeitung: Satzsegmentierung, Tokenisierung, Lemmatisierung, Wortart-Tagging und Abhängigkeitsanalyse.
★ 562+0Sterne-Änderung der letzten 7 Tage - #13
PHP Text Analysis ist eine Bibliothek zur Durchführung von Information Retrieval (IR) und Natural Language Processing (NLP) mit PHP.
★ 534+0Sterne-Änderung der letzten 7 Tage
