etl

स्ट्रीम प्रोसेसिंग, रीयल-टाइम एनालिटिक्स, LLM पाइपलाइन और RAG के लिए Python ETL फ्रेमवर्क।

Apache Airflow - वर्कफ़्लो को प्रोग्रामेटिक रूप से लिखने, शेड्यूल करने और मॉनिटर करने के लिए एक प्लेटफ़ॉर्म

मिशन-क्रिटिकल एप्लिकेशन के लिए इवेंट-संचालित ऑर्केस्ट्रेशन और शेड्यूलिंग प्लेटफ़ॉर्म।

एक उच्च-प्रदर्शन ऑब्जर्वेबिलिटी डेटा पाइपलाइन।

ELT पाइपलाइनों और AI एजेंट्स के लिए ओपन-सोर्स डेटा मूवमेंट — API, डेटाबेस और फ़ाइलों से लेकर वेयरहाउस, लेक और AI एप्लिकेशन तक। सेल्फ-होस्टेड और क्लाउड दोनों।

डेटा संपत्तियों के विकास, उत्पादन और अवलोकन के लिए एक ऑर्केस्ट्रेशन प्लेटफॉर्म।

लंबे समय के एजेंटों के लिए वृद्धिशील इंजन 🌟 यदि आपको यह पसंद आए तो स्टार दें!

🧙 डेटा को एकीकृत और रूपांतरित करने के लिए डेटा पाइपलाइन का निर्माण, संचालन और प्रबंधन करें।

Fancy stream processing made operationally mundane

Zero-ETL, अनंत संभावनाएं। SQL के साथ लाइव क्वेरी API, कोड और अधिक। किसी DB की आवश्यकता नहीं है।

क्लाउड कॉन्फ़िगरेशन और सुरक्षा डेटा के लिए डेटा पाइपलाइन। क्लाउड एसेट इन्वेंट्री, CSPM, FinOps, और vulnerabilty management समाधान बनाएं। AWS, Azure, GCP, और 70+ क्लाउड और SaaS स्रोतों से एक्सट्रैक्ट करें।

Flink CDC एक स्ट्रीमिंग डेटा इंटीग्रेशन टूल है।

AI और मल्टीमॉडल वर्कलोड के लिए हाई-परफॉर्मेंस डेटा इंजन। किसी भी पैमाने पर इमेज, ऑडियो, वीडियो और स्ट्रक्चर्ड डेटा को प्रोसेस करें

Golang और React में गोपनीयता और सुरक्षा पर केंद्रित Segment का विकल्प

AWS पर pandas - Athena, Glue, Redshift, S3 और अन्य के साथ आसान एकीकरण।

एजेंटिक LLM-संचालित डेटा प्रोसेसिंग और ETL के लिए एक सिस्टम

Maestro: Netflix का वर्कफ़्लो ऑर्केस्ट्रेटर

नोड-आधारित UI के बारे में संसाधनों की एक क्यूरेटेड सूची।

शानदार ETL फ्रेमवर्क, लाइब्रेरी और सॉफ्टवेयर की एक क्यूरेटेड सूची।

स्केलेबल और कुशल डेटा परिवर्तन फ्रेमवर्क - dbt के साथ पीछे की ओर संगत।

Postgres से डेटा को डेटा वेयरहाउस, कतारों और स्टोरेज में प्रतिकृति (replicate) करने के लिए तेज़, सरल और लागत प्रभावी टूल

Ethereum ब्लॉक, ट्रांजेक्शन, ERC20 / ERC721 टोकन, ट्रांसफर, रसीद, लॉग, कॉन्ट्रैक्ट और आंतरिक ट्रांजेक्शन के लिए ETL (एक्सट्रैक्ट, ट्रांसफॉर्म और लोड) जॉब्स की Python स्क्रिप्ट। डेटा Google BigQuery https://goo.gl/oY5BCQ पर उपलब्ध है

Apache DevLake एक ओपन-सोर्स देव डेटा प्लेटफ़ॉर्म है, जो DevOps टूल से खंडित डेटा को एकत्र, विश्लेषित और विज़ुअलाइज़ करता है, जिससे इंजीनियरिंग उत्कृष्टता, डेवलपर अनुभव और कम्युनिटी ग्रोथ के लिए इनसाइट्स निकाले जाते हैं।

Apache Hamilton डेटा वैज्ञानिकों और इंजीनियरों को परीक्षण योग्य, मॉड्यूलर, स्व-दस्तावेज़ीकरण डेटाफ़्लो को परिभाषित करने में मदद करता है, जो वंशावली/ट्रेसिंग और मेटाडेटा को एनकोड करते हैं। जहाँ भी Python चलता है, यह हर जगह चलता और स्केल करता है।

🔮 Instill Core डेटा, मॉडल और पाइपलाइन ऑर्केस्ट्रेशन के लिए एक फुल-स्टैक AI इन्फ्रास्ट्रक्चर टूल है, जिसे बहुमुखी AI-फर्स्ट एप्लिकेशन बनाने के हर पहलू को आसान बनाने के लिए डिज़ाइन किया गया है

अद्भुत BI टूल की सक्रिय रूप से क्यूरेट की गई सूची। PRs का स्वागत है!

एक सिंगल C++ बाइनरी में सबसे तेज़ यूनिफाइड स्ट्रीमिंग SQL इंजन। ⚡ मिलीसेकंड विलंबता। 100+ GB/s थ्रूपुट।

Go के लिए एक हल्की स्ट्रीम प्रोसेसिंग लाइब्रेरी

डेटा इंजीनियरिंग सीखने के लिए सबसे अच्छी जगह। डेटा इंजीनियरिंग कम्युनिटी द्वारा निर्मित और अनुरक्षित।

Ruby के लिए डेटा प्रोसेसिंग और ETL फ्रेमवर्क