data-pipeline

Pemindahan data sumber terbuka untuk pipeline ELT dan agen AI — dari API, database & file ke gudang data, danau data, dan aplikasi AI. Tersedia dalam versi self-hosted dan Cloud.

Memberdayakan kecerdasan data dengan SQL terdistribusi untuk sharding, skalabilitas, dan keamanan di semua database.

Change data capture untuk berbagai database. Silakan laporkan masalah di https://github.com/debezium/dbz/issues.

Engine AI pipeline berkinerja tinggi dengan core C++ dan 50+ node yang dapat diperluas dengan Python. Buat, debug, dan tingkatkan skala alur kerja LLM dengan 13+ penyedia model, 8+ database vektor, dan orkestrasi agent, semuanya dari IDE Anda. Termasuk ekstensi VS Code, SDK TypeScript/Python, dan penyebaran Docker.

Pemimpin dalam Infrastruktur Data Pelanggan

Pemrosesan data untuk dan dengan foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Flink CDC adalah alat integrasi data streaming

Tempat akses data bertemu dengan intelijen operasional

Alternatif Segment yang berfokus pada privasi dan keamanan, dibangun dengan Golang dan React

Daftar sumber daya berguna untuk mempelajari Data Engineering dari awal.

ingestr adalah alat CLI untuk menyalin data antar database apa pun dengan satu perintah secara mulus.

Orkestrator alur kerja yang dapat di-host sendiri untuk tim yang pekerjaan utamanya bukan orkestrasi. YAML deklaratif untuk skrip, perintah SSH, kontainer, dll; memisahkan alur kerja dari logika bisnis. Satu biner, tanpa database, berjalan pada sumber daya perangkat keras terbatas. Alternatif untuk Airflow / Cron / Penjadwal Tugas.

Memphis.dev adalah platform data streaming yang sangat dapat menskalakan dan mudah digunakan

Server inferensi sumber terbuka dan kluster produksi untuk semua model yang dibutuhkan agen Anda.

Pustaka pencatatan data sumber terbuka untuk model machine learning dan pipeline data. 📚 Memberikan visibilitas ke dalam kualitas data & kinerja model dari waktu ke waktu. 🛡️ Mendukung pengumpulan data yang menjaga privasi, memastikan keamanan & ketahanan. 📈

Solusi observabilitas data berbasis dbt untuk data & analytics engineer. Pantau pipeline data Anda dalam hitungan menit. Tersedia sebagai layanan self-hosted atau cloud dengan fitur premium.

Pustaka pemrosesan aliran data yang ringan untuk Go

Alat manajemen tugas dan otomatisasi CLI

🔥🔥🔥 Reverse ETL sumber terbuka - alternatif untuk hightouch dan census.

OLake - Replikasi Database, Kafka & S3 Tercepat ke Apache Iceberg dengan optimasi tabel (Disebut OLake Fusion). ⚡ Ingesti data yang efisien, cepat, dan dapat ditingkatkan untuk analitik real-time. Sumber yang didukung: Postgres, MongoDB, MySQL, Oracle, MSSql, DB2, Kafka, S3.

Kode sumber pendamping buku: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

ETL/ELT open-source yang Anda deploy di server atau cloud Anda sendiri. Dibangun di atas DuckDB: pipeline visual tanpa kode/rendah kode atau SQL, 385 komponen, dbt, CDC, kualitas data, reverse ETL, lineage, MCP untuk agen AI. Tanpa cloud vendor, tanpa penagihan per baris.

zerocode-tdd adalah pengujian otomatis berbasis hasil yang dikembangkan oleh komunitas untuk Data Pipeline, ETL, REST API, Kafka, Database, dan skenario beban yang didefinisikan dalam JSON atau YAML.

🌊 Sinkronisasikan sistem tempat data Anda berada secara terus-menerus ke sistem tempat Anda _menginginkannya_ berada, dengan mengelola aliran data Anda menggunakan Estuary. 🌊

SeaTunnel adalah platform integrasi data terdistribusi dan berkinerja tinggi untuk sinkronisasi dan transformasi data besar-besaran (offline & real-time).

Pipeline data yang lebih cerdas untuk audio.

Alat Pythonic untuk mengorkestrasi alur kerja machine learning/performa tinggi/komputasi kuantum di lingkungan komputasi heterogen.

Data Engineering Praktis: Panduan Proyek Real-Estate Langsung

Conduit mengalirkan data antar penyimpanan data. Pengganti Kafka Connect. Tidak memerlukan JVM.

Daftar kurasi alat sumber terbuka yang digunakan dalam platform analitik dan ekosistem data engineering