data-pipeline

ELT पाइपलाइनों और AI एजेंट्स के लिए ओपन-सोर्स डेटा मूवमेंट — API, डेटाबेस और फ़ाइलों से लेकर वेयरहाउस, लेक और AI एप्लिकेशन तक। सेल्फ-होस्टेड और क्लाउड दोनों।

सभी डेटाबेस में शarding, स्केलेबिलिटी और सुरक्षा के लिए वितरित SQL के साथ डेटा इंटेलिजेंस को सशक्त बनाना।

विभिन्न प्रकार के डेटाबेस के लिए डेटा कैप्चर बदलें। कृपया https://github.com/debezium/dbz/issues पर समस्याएँ दर्ज करें।

C++ कोर और 50+ पायथन-एक्सटेंसिबल नोड्स के साथ उच्च-प्रदर्शन AI पाइपलाइन इंजन। अपने IDE से 13+ मॉडल प्रदाताओं, 8+ वेक्टर डेटाबेस और एजेंट ऑर्केस्ट्रेशन के साथ LLM वर्कफ़्लो बनाएं, डीबग करें और स्केल करें। इसमें VS Code एक्सटेंशन, TypeScript/Python SDKs और Docker परिनियोजन शामिल हैं।

कस्टमर डेटा इंफ्रास्ट्रक्चर में अग्रणी

फाउंडेशन मॉडल के लिए और उनके साथ डेटा प्रोसेसिंग! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC एक स्ट्रीमिंग डेटा इंटीग्रेशन टूल है।

जहां डेटा एक्सेस ऑपरेशनल इंटेलिजेंस से मिलता है।

Golang और React में गोपनीयता और सुरक्षा पर केंद्रित Segment का विकल्प

शुरुआत से डेटा इंजीनियरिंग सीखने के लिए उपयोगी संसाधनों की सूची

ingestr एक ही कमांड के साथ किसी भी डेटाबेस के बीच डेटा को निर्बाध रूप से कॉपी करने के लिए एक CLI टूल है।

उन टीमों के लिए सेल्फ-होस्टेबल वर्कफ़्लो ऑर्केस्ट्रेटर जिनका मुख्य काम ऑर्केस्ट्रेशन नहीं है।

Memphis.dev एक अत्यधिक स्केलेबल और सहज डेटा स्ट्रीमिंग प्लेटफॉर्म है

आपके एजेंट को आवश्यक सभी मॉडलों के लिए ओपन-सोर्स इन्फेरेंस सर्वर और प्रोडक्शन क्लस्टर।

मशीन लर्निंग मॉडल और डेटा पाइपलाइन के लिए एक ओपन-सोर्स डेटा लॉगिंग लाइब्रेरी। 📚 समय के साथ डेटा की गुणवत्ता और मॉडल के प्रदर्शन की दृश्यता प्रदान करता है। 🛡️ गोपनीयता-संरक्षण डेटा संग्रह का समर्थन करता है, सुरक्षा और मजबूती सुनिश्चित करता है। 📈

डेटा और एनालिटिक्स इंजीनियरों के लिए dbt-नेटिव डेटा ऑब्जर्बेबिलिटी समाधान। मिनटों में अपने डेटा पाइपलाइन मॉनिटर करें। प्रीमियम सुविधाओं के साथ सेल्फ-होस्टेड या क्लाउड सर्विस के रूप में उपलब्ध।

Go के लिए एक हल्की स्ट्रीम प्रोसेसिंग लाइब्रेरी

CLI टास्क मैनेजमेंट और ऑटोमेशन टूल

🔥🔥🔥 ओपन सोर्स रिवर्स ETL - hightouch और census का विकल्प।

OLake - टेबल ऑप्टिमाइज़ेशन के साथ Apache Iceberg के लिए सबसे तेज डेटाबेस, Kafka और S3 प्रतिकृति (OLake Fusion कहा जाता है)। रियल-टाइम एनालिटिक्स के लिए कुशल, त्वरित और स्केलेबल डेटा इंजेशन। समर्थित स्रोत: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3।

पुस्तक के साथ आने वाला स्रोत कोड: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

ओपन-सोर्स ETL/ELT जिसे आप अपने सर्वर या क्लाउड पर तैनात कर सकते हैं। DuckDB पर निर्मित: नो-कोड/लो-कोड विजुअल पाइपलाइन या SQL, 385 घटक, dbt, CDC, डेटा गुणवत्ता, रिवर्स ETL, लाइनage, AI एजेंटों के लिए MCP। कोई वेंडर क्लाउड नहीं, प्रति-पंक्ति बिलिंग नहीं।

zerocode-tdd डेटा पाइपलाइनों, ETL, REST API, Kafka, डेटाबेस और लोड परिदृश्यों के लिए एक समुदाय-विकसित, मुफ्त, ओपन-सोर्स और परिणाम-संचालित स्वचालित परीक्षण टूल है। सब कुछ सरल JSON या YAML में परिभाषित है — बिना किसी कोडिंग के।

Estuary के साथ डेटा प्रवाह को प्रबंधित करके, उन सिस्टम्स को लगातार सिंक्रोनाइज़ करें जहाँ आपका डेटा रहता है, उन सिस्टम्स के साथ जहाँ आप इसे रखना चाहते हैं।

SeaTunnel भारी डेटा (ऑफ़लाइन और वास्तविक समय) के सिंक्रनाइज़ेशन और रूपांतरण के लिए एक वितरित, उच्च-प्रदर्शन डेटा एकीकरण प्लेटफ़ॉर्म है।

ऑडियो के लिए स्मार्ट डेटा पाइपलाइन्स।

विषम कंप्यूटिंग वातावरण में मशीन-लर्निंग/उच्च-प्रदर्शन/क्वांटम-कंप्यूटिंग वर्कफ़्लो को ऑर्केस्ट्रेट करने के लिए Pythonic टूल।

प्रैक्टिकल डेटा इंजीनियरिंग: एक हैंड्स-ऑन रियल-एस्टेट प्रोजेक्ट गाइड

कंड्यूट डेटा स्टोर के बीच डेटा को स्ट्रीम करता है। Kafka Connect का विकल्प। किसी JVM की आवश्यकता नहीं है।

एनालिटिक्स प्लेटफॉर्म और डेटा इंजीनियरिंग इकोसिस्टम में उपयोग किए जाने वाले ओपन सोर्स टूल्स की एक क्यूरेटेड सूची