tokenization

💫 Python में औद्योगिक-शक्ति प्राकृतिक भाषा प्रसंस्करण (NLP)

🎒 Token-Oriented Object Notation (TOON) – LLM संकेतों के लिए JSON डेटा का कॉम्पैक्ट, मानव-पठनीय सिरीलाइज़ेशन। TypeScript SDK, CLI, बेंचमार्क।

GB/s पर भाषा मॉडल टोकनाइजेशन

400+ LLMs के लिए आसान टोकन मूल्य अनुमान। TokenOps।

Customer PII/PHI/PCI/KYC रिकॉर्ड्स के लिए सुरक्षित वॉल्ट

LunaSec - डिपेंडेंसी सिक्योरिटी स्कैनर जो आपके पुल रिक्वेस्ट और बिल्ड्स में Log4Shell या node-ipc जैसी कमजोरियों के बारे में स्वचालित रूप से सूचित करता है। LunaTrace GitHub ऐप के साथ 30 सेकंड में अपनी सुरक्षा करें: https://github.com/marketplace/lunatrace-by-lunasec/

Ravencoin Core एकीकरण/स्टेजिंग ट्री

👑 Streamlit ऐप्स के लिए spaCy बिल्डिंग ब्लॉक और विज़ुअलाइज़र

Trankit बहुभाषी नेचुरल लैंग्वेज प्रोसेसिंग के लिए एक हल्का, ट्रांसफॉर्मर-आधारित पायथन टूलकिट है।

Ekphrasis एक टेक्स्ट प्रोसेसिंग टूल है, जो Twitter या Facebook जैसे सोशल नेटवर्क के टेक्स्ट के लिए बनाया गया है। यह 2 बड़े कॉर्पोरा (अंग्रेजी Wikipedia, Twitter - 330 मिलियन अंग्रेजी ट्वीट्स) के सांख्यिकी का उपयोग करके टोकनाइज़ेशन, वर्ड नॉर्मलाइज़ेशन, वर्ड सेगमेंटेशन (हैशटैग को विभाजित करने के लिए) और स्पेल करेक्शन करता है।

Python, Go, C++ और Javascript के लिए अनग्रीडी सबवर्ड टोकेनाइज़र और वोकैबुलरी ट्रेनर।

नेचुरल लैंग्वेज प्रोसेसिंग पाइपलाइन - सेंटेंस स्प्लिटिंग, टोकनाइज़ेशन, लेमेटाइज़ेशन, पार्ट-ऑफ-स्पीच टैगिंग और डिपेंडेंसी पार्सिंग।

PHP Text Analysis PHP भाषा का उपयोग करके सूचना पुनःप्राप्ति (IR) और प्राकृतिक भाषा प्रसंस्करण (NLP) कार्य करने के लिए एक लाइब्रेरी है