data-pipelines

स्ट्रीम प्रोसेसिंग, रीयल-टाइम एनालिटिक्स, LLM पाइपलाइन और RAG के लिए Python ETL फ्रेमवर्क।

Apache Airflow - वर्कफ़्लो को प्रोग्रामेटिक रूप से लिखने, शेड्यूल करने और मॉनिटर करने के लिए एक प्लेटफ़ॉर्म

डेटा संपत्तियों के विकास, उत्पादन और अवलोकन के लिए एक ऑर्केस्ट्रेशन प्लेटफॉर्म।

दस्तावेजों को आसानी से संरचित डेटा में बदलें। Unstructured, भाषा मॉडल के लिए जटिल दस्तावेजों को स्वच्छ, संरचित प्रारूपों में बदलने का ओपन-सोर्स ETL समाधान है।

Apache DolphinScheduler आधुनिक डेटा ऑर्केस्ट्राशन प्लेटफॉर्म है। लो-कोड के साथ उच्च-प्रदर्शन वर्कफ़्लो बनाने में एज़ाइल

Kedro प्रोडक्शन-रेडी डेटा साइंस के लिए एक टूलबॉक्स है। यह डेटा इंजीनियरिंग और डेटा साइंस पाइपलाइन बनाने में आपकी मदद करने के लिए सॉफ़्टवेयर इंजीनियरिंग की सर्वोत्तम प्रथाओं का उपयोग करता है जो पुनरुत्पादित, रखरखाव योग्य और मॉड्यूलर हैं।

🧙 डेटा को एकीकृत और रूपांतरित करने के लिए डेटा पाइपलाइन का निर्माण, संचालन और प्रबंधन करें।

नवीनतम LLM-आधारित ऑपरेटरों और पाइपलाइनों के साथ आसान डेटा तैयारी।

🦀 developers ke liye data in motion ko collect aur transform karne ke liye event stream processing, taaki responsive data-intensive applications ko chalaya ja sake.

Preswald पाइथन-आधारित इंटरैक्टिव डेटा ऐप्स के लिए एक WASM पैकेजर है: Pyodide, DuckDB, Pandas, और Plotly, Matplotlib आदि का उपयोग करके जटिल डेटा वर्कफ़्लो, विशेष रूप से विज़ुअलाइज़ेशन को एकल फाइलों में बंडल करें, जो पूरी तरह से इन-ब्राउज़र चलने योग्य हैं। डैशबोर्ड, रिपोर्ट और नोटबुक बनाएं जो ऑफ़लाइन चलते हैं, तेज़ी से लोड होते हैं, और एक दस्तावेज़ की तरह साझा किए जाते हैं।

एजेंटिक LLM-संचालित डेटा प्रोसेसिंग और ETL के लिए एक सिस्टम

Maestro: Netflix का वर्कफ़्लो ऑर्केस्ट्रेटर

Meltano: डिक्लेरेटिव कोड-फर्स्ट डेटा इंटीग्रेशन इंजन जो आपके सबसे साहसी डेटा और ML-संचालित उत्पाद विचारों को शक्ति प्रदान करता है। अपने खुद के API इंटीग्रेशन को लिखने, बनाए रखने और स्केल करने को अलविदा कहें।

डेटा और एनालिटिक्स इंजीनियरों के लिए dbt-नेटिव डेटा ऑब्जर्बेबिलिटी समाधान। मिनटों में अपने डेटा पाइपलाइन मॉनिटर करें। प्रीमियम सुविधाओं के साथ सेल्फ-होस्टेड या क्लाउड सर्विस के रूप में उपलब्ध।

Feldera इंक्रीमेंटल कंप्यूटेशन इंजन

डेटा इंजीनियरिंग सीखने के लिए सबसे अच्छी जगह। डेटा इंजीनियरिंग कम्युनिटी द्वारा निर्मित और अनुरक्षित।

तेज़ और कुशल असंरचित डेटा निष्कर्षण। कई भाषाओं के लिए बाइंडिंग के साथ Rust में लिखा गया।

SQL और Python के साथ डेटा पाइपलाइन बनाएं, विभिन्न स्रोतों से डेटा इनजेस्ट करें, गुणवत्ता जांच जोड़ें, और एंड-टू-एंड फ़्लो बनाएं।

MLeap: ML पाइपलाइनों को प्रोडक्शन में तैनात करें

कॉन्करेंट Python को सरल बनाया गया

पहला ओपन-सोर्स डेटा डिस्कवरी और ऑब्ज़र्वेबिलिटी प्लेटफ़ॉर्म। हम डेटा प्रैक्टिशनर्स के जीवन को आसान बनाते हैं ताकि आप अपने व्यवसाय पर ध्यान केंद्रित कर सकें।

आपकी MLOps पहलों और डेटा पाइपलाइनों को किकस्टार्ट और मानकीकृत करने के लिए एक व्यापक Python पैकेज टेम्पलेट।

Python द्वारा संचालित विजुअल डेटा प्रीप

Optimus डेटा ट्रांसफ़ॉर्मेशन, डेटा मॉडलिंग, पाइपलाइन्स और डेटा क्वालिटी मैनेजमेंट के लिए एक उपयोग में आसान, विश्वसनीय और प्रदर्शनकारी वर्कफ़्लो ऑर्केस्ट्रेटर है

यह dbt पैकेज मेटाडेटा, आर्टिफैक्ट्स और टेस्ट परिणामों को कैप्चर करता है ताकि आप विसंगतियों का पता लगा सकें, डेटा गुणवत्ता की निगरानी कर सकें और मेटाडेटा टेबल बना सकें। यह Elementary OSS को पावर देता है और Elementary Cloud के व्यापक डेटा और AI कंट्रोल प्लेन के लिए संदर्भ प्रदान करता है।