data-processing

स्ट्रीम प्रोसेसिंग, रीयल-टाइम एनालिटिक्स, LLM पाइपलाइन और RAG के लिए Python ETL फ्रेमवर्क।

लंबे समय के एजेंटों के लिए वृद्धिशील इंजन 🌟 यदि आपको यह पसंद आए तो स्टार दें!

डेटा प्रोसेसिंग और Linux सिस्टम रखरखाव के लिए उपयोगी Bash वन-लाइनर्स और टर्मिनल ट्रिक्स का संग्रह।

Miller नाम-अनुक्रमित डेटा जैसे CSV, TSV और सारणीबद्ध JSON के लिए awk, sed, cut, join और sort की तरह है।

JSON, TOML, YAML, XML, INI, HCL, KDL और CSV की एकीकृत क्वेरी, परिवर्तन और संशोधन।

नवीनतम LLM-आधारित ऑपरेटरों और पाइपलाइनों के साथ आसान डेटा तैयारी।

C++ कोर और 50+ पायथन-एक्सटेंसिबल नोड्स के साथ उच्च-प्रदर्शन AI पाइपलाइन इंजन। अपने IDE से 13+ मॉडल प्रदाताओं, 8+ वेक्टर डेटाबेस और एजेंट ऑर्केस्ट्रेशन के साथ LLM वर्कफ़्लो बनाएं, डीबग करें और स्केल करें। इसमें VS Code एक्सटेंशन, TypeScript/Python SDKs और Docker परिनियोजन शामिल हैं।

फाउंडेशन मॉडल के लिए और उनके साथ डेटा प्रोसेसिंग! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

डीप लर्निंग ट्रेनिंग और इन्फेरेंस एप्लीकेशन को तेज करने के लिए डेटा प्रोसेसिंग के वास्ते अत्यधिक अनुकूलित बिल्डिंग ब्लॉक और एक निष्पादन इंजन वाली GPU-त्वरित लाइब्रेरी।

DuckDB और 3FS पर बना एक हल्का डेटा प्रोसेसिंग फ्रेमवर्क।

एक हल्का, लचीला और अभिव्यंजक सांख्यिकीय डेटा परीक्षण पुस्तकालय

बड़े पैमाने पर समानांतर डेटा/स्ट्रीमिंग जॉब चलाने के लिए Kubernetes-नेटिव प्लेटफ़ॉर्म

असंरचित डेटा के लिए संदर्भ परत (Context Layer): S3, GCS, Azure पर टाइप्ड, वर्شन्ड डेटासेट

Elixir के साथ समवर्ती और बहु-चरणीय डेटा अंतर्ग्रहण और डेटा प्रोसेसिंग

TensorFlow में मशीन लर्निंग, नेचुरल लैंग्वेज प्रोसेसिंग और टेक्स्ट जनरेशन के लिए टूलकिट। यह CASL प्रोजेक्ट का हिस्सा है: http://casl-project.ai/

Python स्ट्रीम प्रोसेसिंग।

LLMs के लिए स्केलेबल डेटा प्री-प्रोसेसिंग और क्यूरेशन टूलकिट

OLMo प्री-ट्रेनिंग डेटा उत्पन्न करने और उनका निरीक्षण करने के लिए डेटा और टूल।

कॉन्करेंट Python को सरल बनाया गया

पुस्तक के साथ आने वाला स्रोत कोड: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

ML इंफ्रा के लिए PyTorch की तरह, Python में Kubernetes पर AI वर्कलोड को जादुई रूप से वितरित और चलाएं।

CSS, XPath 3.0, XQuery 3.0, JSONiq या पैटर्न मैचिंग का उपयोग करके HTML/XML पेजों या JSON-APIs से डेटा डाउनलोड और एक्सट्रैक्ट करने के लिए कमांड लाइन टूल। यह नए या रूपांतरित XML/HTML/JSON दस्तावेज़ भी बना सकता है।

ऑल-इन-वन टेक्स्ट डी-डुप्लीकेशन।

HStreamDB IoT और उससे आगे के लिए एक ओपन-सोर्स, क्लाउड-नेटिव स्ट्रीमिंग डेटाबेस है। रियल-टाइम एप्लिकेशन के लिए अपने डेटा स्टैक को आधुनिक बनाएं।

R में उन्नत और तेज़ डेटा परिवर्तन

Apache Kafka के बारे में एक सूची।

👾~ संगीत, शाश्वत ~ 👾

एक टूल जो संभावित Bitcoin प्रेडिक्शन परिदृश्य बनाने के लिए उन्नत मोंटे कार्लो सिमुलेशन और Turbit समानांतर प्रोसेसिंग का उपयोग करता है।

MARVIS-Agent: मॉडल विकास, सत्यापन, डेटा प्रोसेसिंग, फ़ीचर इंजीनियरिंग और रणनीति वर्कफ़्लो के लिए सर्व-उद्देश्यीय क्रेडिट रिस्क एजेंट।

बिना किसी डेटाबेस के SQL रनटाइम