tokenizer

PyTorch를 사용하여 처음부터 단계별로 ChatGPT와 유사한 LLM 구현하기

टोकनयुक्त PHP सोर्स कोड को XML (और संभावित रूप से अन्य प्रारूपों) में बदलने के लिए एक छोटी लाइब्रेरी।

GB/s पर भाषा मॉडल टोकनाइजेशन

Python के लिए एक नॉन-वैलिडेटिंग SQL पार्सर मॉड्यूल

JavaScript के लिए पार्सर बिल्डिंग टूलकिट

OpenAPI टोकनराइज़र के लिए ऑनलाइन प्लेग्राउंड

फारसी NLP टूलकिट

बुनियादी रूसी NLP कार्यों को हल करता है, निचले स्तर के Natasha प्रोजेक्ट्स के लिए API

न्यूनतम मेमोरी पदचिह्न के साथ कस्टम JSON और JSONC प्रोसेसिंग पाइपलाइन बनाने के लिए स्ट्रीम घटकों की एक माइक्रो-लाइब्रेरी — Node.js या Web Streams पर SAX-प्रेरित टोकन API के साथ उपलब्ध मेमोरी से कहीं बड़े JSON को पार्स, फ़िल्टर और ट्रांसफ़ॉर्म करें।

कोरियाई प्राकृतिक भाषा प्रसंस्करण (NLP) के लिए एक पायथन लाइब्रेरी। यह शब्द निष्कर्षण, टोकेनाइज़र, पार्ट-ऑफ-स्पीच टैगिंग और प्री-प्रोसेसिंग की सुविधा प्रदान करती है।

शुद्ध Go में लिखा गया सेल्फ-कंटेंड जापानी मॉर्फोलॉजिकल एनालाइजर

ऑप्टिमाइज़्ड टोकेनाइज़र/लेक्सर जनरेटर! प्रदर्शन के लिए /y का उपयोग करता है। Moo.

चीनी और पिनयिन का समर्थन करने वाला SQLite fts5 फुल-टेक्स्ट सर्च एक्सटेंशन।

OpenAI के GPT मॉडल (gpt-5, gpt-o*, gpt-4o, आदि) के लिए सबसे तेज़ JavaScript BPE टोकेनाइज़र एनकोडर डिकोडर। अतिरिक्त सुविधाओं के साथ OpenAI के tiktoken का पोर्ट।

भाषा, साहित्य और अनुवाद के अध्ययन के लिए बहुभाषी समर्थन वाला एक एकीकृत कॉर्पस टूल।

डेटा एनोटेशन टेक्स्ट डेटा को प्रोसेस और एनोटेट करने के लिए एक विशेष टूल है, जो त्वरित टेक्स्ट एनोटेशन वर्कफ़्लो और गतिशील एल्गोरिदम फीडबैक के माध्यम से उपयोगकर्ताओं को कीवर्ड को तेज़ी से एनोटेट करने में सहायता करता है।

Ekphrasis एक टेक्स्ट प्रोसेसिंग टूल है, जो Twitter या Facebook जैसे सोशल नेटवर्क के टेक्स्ट के लिए बनाया गया है। यह 2 बड़े कॉर्पोरा (अंग्रेजी Wikipedia, Twitter - 330 मिलियन अंग्रेजी ट्वीट्स) के सांख्यिकी का उपयोग करके टोकनाइज़ेशन, वर्ड नॉर्मलाइज़ेशन, वर्ड सेगमेंटेशन (हैशटैग को विभाजित करने के लिए) और स्पेल करेक्शन करता है।

Open Korean Text Processor - एक ओपन-सोर्स कोरियन टेक्स्ट प्रोसेसर

एक बहुभाषी मॉर्फोलॉजिकल एनालिसिस लाइब्रेरी।

पूर्ण Unicode समर्थन के साथ Java™ के लिए तेज़ स्कैनर जनरेटर

llama3 इन्फरेंस को चरण-दर-चरण प्राप्त करें, मुख्य अवधारणाओं को समझें, प्रक्रिया व्युत्पत्ति में महारत हासिल करें और कोड लागू करें।

Python, Go, C++ और Javascript के लिए अनग्रीडी सबवर्ड टोकेनाइज़र और वोकैबुलरी ट्रेनर।

NodeJS PHP पार्सर - AST या टोकन निकालने के लिए

एक छोटा JavaScript टोकनाइज़र।

तेज़ और पाइथोनिक जापानी टोकनाइज़ेशन और मॉर्फोलॉजिकल विश्लेषण के लिए एक Cython MeCab रैपर।

[NeurIPS 2025 Spotlight] विजुअल जनरेशन और अंडरस्टैंडिंग के लिए एक एकीकृत टोकनाइज़र

नेस्टेड कोड ब्लॉक्स को हाइलाइट करने के लिए VSCode एक्सटेंशन