tokenizer

Implementasikan LLM mirip ChatGPT dalam PyTorch dari awal, langkah demi langkah

Pustaka kecil untuk mengonversi kode sumber PHP yang telah ditokenisasi menjadi XML (dan berpotensi ke format lain)

Tokenisasi model bahasa pada kecepatan GB/s

Modul parser SQL non-validasi untuk Python.

Toolkit pembuat parser untuk JavaScript

Playground online untuk tokenizer OpenAPI

Toolkit NLP Bahasa Persia

Menyelesaikan tugas NLP bahasa Rusia dasar, API untuk proyek Natasha tingkat rendah

Pustaka mikro komponen stream untuk membangun pipeline pemrosesan JSON dan JSONC kustom dengan tapak memori minimal — mengurai, memfilter, dan mengubah JSON yang jauh lebih besar daripada memori yang tersedia dengan API token yang terinspirasi dari SAX, di Node.js atau Web Streams.

Pustaka Python untuk pemrosesan bahasa alami bahasa Korea. Menyediakan fitur ekstraksi kata, tokenizer, penandaan POS, dan pra-pemrosesan.

Penganalisis Morfologi Jepang mandiri yang ditulis dalam Go murni

Generator tokenizer/lexer yang dioptimalkan! 🐄 Menggunakan /y untuk performa. Moo.

Ekstensi pencarian teks lengkap SQLite fts5 yang mendukung bahasa Mandarin dan Pinyin

Encoder Decoder BPE Tokenizer JavaScript tercepat untuk model GPT OpenAI (gpt-5, gpt-o*, gpt-4o, dll.). Porting dari tiktoken milik OpenAI dengan fitur tambahan.

Alat Korpus Terintegrasi dengan Dukungan Multibahasa untuk Studi Bahasa, Sastra, dan Terjemahan

数据标注是一款专门对文本数据进行处理和标注的工具，通过简化快捷的文本标注流程和动态的算法反馈，支持用户快速标注关键词并能通过算法持续减少人工标注的成本和时间。数据标注的过程先由人工标注构建基础，再由自动标注反哺人工标注，最后由人工标注进行纠偏，从而大幅度提高标注的精准度和高效性。数据标注需要依赖开源的数字底座进行人员岗位管控。

Ekphrasis adalah alat pemrosesan teks yang ditujukan untuk teks dari jejaring sosial seperti Twitter atau Facebook. Ekphrasis melakukan tokenisasi, normalisasi kata, segmentasi kata (untuk memisahkan hashtag), dan koreksi ejaan menggunakan statistik kata dari 2 korpus besar (Wikipedia bahasa Inggris dan 330 juta tweet bahasa Inggris).

Open Korean Text Processor - Pemroses Teks Bahasa Korea Sumber Terbuka

Pustaka analisis morfologi multibahasa.

Generator pemindai cepat untuk Java™ dengan dukungan Unicode penuh

Pahami inferensi llama3 langkah demi langkah, pahami konsep inti, kuasai penurunan proses, dan implementasikan kodenya.

Subword tokenizer dan pelatih kosakata yang tidak serakah untuk Python, Go, C++, & Javascript

:herb: NodeJS PHP Parser - ekstrak AST atau token

Tokeniser JavaScript kecil.

Wrapper Cython MeCab untuk tokenisasi bahasa Jepang dan analisis morfologi yang cepat dan pythonic.

[NeurIPS 2025 Spotlight] Tokenizer Terpadu untuk Pembuatan dan Pemahaman Visual

Ekstensi VSCode untuk menyorot blok kode bersarang