tokenization
Repositori open source terpantau bertanda tokenization, diurutkan berdasarkan bintang.
Topik terkait
Topik yang sering muncul berdampingan dengan tokenization di repositori yang sama.
Yang sedang naik
Repositori yang dibuat dalam 90 hari terakhir dan bertanda tokenization.
Tidak ada repositori baru bertanda topik ini dalam 90 hari terakhir.
- #1★ 33.861+23Perubahan bintang dalam 7 hari terakhir
- #2
🎒 Token-Oriented Object Notation (TOON) – serialisasi data JSON yang ringkas dan mudah dibaca manusia untuk prompt LLM. Termasuk SDK TypeScript, CLI, dan tolok ukur.
★ 25.275+55Perubahan bintang dalam 7 hari terakhir - #3★ 4.067+18Perubahan bintang dalam 7 hari terakhir
- #4★ 2.005+0Perubahan bintang dalam 7 hari terakhir
- #5
Vault Aman untuk Catatan PII/PHI/PCI/KYC Pelanggan
★ 1.483+1Perubahan bintang dalam 7 hari terakhir - #6
LunaSec - Pemindai Keamanan Dependensi yang secara otomatis memberi tahu Anda tentang kerentanan seperti Log4Shell atau node-ipc di Pull Request dan Build Anda. Lindungi diri Anda dalam 30 detik dengan GitHub App LunaTrace: https://github.com/marketplace/lunatrace-by-lunasec/
★ 1.469+0Perubahan bintang dalam 7 hari terakhir - #7★ 1.119+2Perubahan bintang dalam 7 hari terakhir
- #8
👑 Blok bangunan dan visualizer spaCy untuk aplikasi Streamlit
★ 860+0Perubahan bintang dalam 7 hari terakhir - #9
Trankit adalah Toolkit Python berbasis Transformer yang ringan untuk Pemrosesan Bahasa Alami Multibahasa
★ 798+2Perubahan bintang dalam 7 hari terakhir - #10
Ekphrasis adalah alat pemrosesan teks yang ditujukan untuk teks dari jejaring sosial seperti Twitter atau Facebook. Ekphrasis melakukan tokenisasi, normalisasi kata, segmentasi kata (untuk memisahkan hashtag), dan koreksi ejaan menggunakan statistik kata dari 2 korpus besar (Wikipedia bahasa Inggris dan 330 juta tweet bahasa Inggris).
★ 673-1Perubahan bintang dalam 7 hari terakhir - #11
Subword tokenizer dan pelatih kosakata yang tidak serakah untuk Python, Go, C++, & Javascript
★ 627+0Perubahan bintang dalam 7 hari terakhir - #12
Pipeline Pemrosesan Bahasa Alami - Pemisahan Kalimat, Tokenisasi, Lematisasi, Penandaan Bagian Pidato (POS), dan Penguraian Ketergantungan
★ 562+0Perubahan bintang dalam 7 hari terakhir - #13
PHP Text Analysis adalah pustaka untuk melakukan tugas Information Retrieval (IR) dan Natural Language Processing (NLP) menggunakan bahasa PHP
★ 534+0Perubahan bintang dalam 7 hari terakhir
