data-integration

Apache Airflow - Platform untuk membuat, menjadwalkan, dan memantau alur kerja secara terprogram.

Pemindahan data sumber terbuka untuk pipeline ELT dan agen AI — dari API, database & file ke gudang data, danau data, dan aplikasi AI. Tersedia dalam versi self-hosted dan Cloud.

Mengubah data dan algoritma AI menjadi aplikasi web siap produksi dalam waktu singkat.

Platform orkestrasi untuk pengembangan, produksi, dan observasi aset data.

SeaTunnel adalah alat integrasi data masif terdistribusi, berkinerja tinggi, dan multimodal.

Membangun, menjalankan, dan mengelola pipeline data untuk integrasi dan transformasi data.

Pipeline data untuk konfigurasi cloud dan data keamanan. Membangun inventaris aset cloud, CSPM, FinOps, dan solusi manajemen kerentanan. Mengekstrak data dari AWS, Azure, GCP, serta lebih dari 70 sumber cloud dan SaaS.

Flink CDC adalah alat integrasi data streaming

Upsert, Penghapusan, dan Pemrosesan Inkremental pada Big Data.

🦀 Pemrosesan alur kejadian bagi pengembang untuk mengumpulkan dan mengubah data yang sedang bergerak guna mendukung aplikasi intensif data yang responsif.

Jitsu adalah alternatif open-source untuk Segment. Mesin pengumpulan data yang dapat diprogram sepenuhnya untuk tim data modern. Siapkan pipeline data real-time dalam hitungan menit, bukan hari.

Tempat akses data bertemu dengan intelijen operasional

Alternatif Segment yang berfokus pada privasi dan keamanan, dibangun dengan Golang dan React

Sebuah kerangka kerja integrasi data

ingestr adalah alat CLI untuk menyalin data antar database apa pun dengan satu perintah secara mulus.

Daftar paket perangkat lunak dan sumber daya data yang dikurasi komunitas untuk sel tunggal, termasuk RNA-seq, ATAC-seq, dll.

Apache DevLake adalah platform data pengembangan sumber terbuka untuk mengambil, menganalisis, dan memvisualisasikan data terfragmentasi dari alat DevOps, mengekstrak wawasan untuk keunggulan rekayasa, pengalaman pengembang, dan pertumbuhan komunitas.

superglue (YC W25) membangun integrasi dan alat dari bahasa alami. Dapatkan alat tingkat produksi untuk sistem ekor panjang dan perusahaan.

Platform Orkestrasi Hop

Alat ETL yang cepat dan serbaguna yang dapat mentransfer data antara RDBMS dan NoSQL dengan mulus

ETL/ELT open-source yang Anda deploy di server atau cloud Anda sendiri. Dibangun di atas DuckDB: pipeline visual tanpa kode/rendah kode atau SQL, 385 komponen, dbt, CDC, kualitas data, reverse ETL, lineage, MCP untuk agen AI. Tanpa cloud vendor, tanpa penagihan per baris.

Tutorial dan Makalah Berwawasan tentang Knowledge Graphs

🌊 Sinkronisasikan sistem tempat data Anda berada secara terus-menerus ke sistem tempat Anda _menginginkannya_ berada, dengan mengelola aliran data Anda menggunakan Estuary. 🌊

SeaTunnel adalah platform integrasi data terdistribusi dan berkinerja tinggi untuk sinkronisasi dan transformasi data besar-besaran (offline & real-time).

Daftar makalah yang diperbarui secara berkelanjutan mengenai kemajuan dalam Data Agents. Repositori pendamping untuk makalah kami "A Survey of Data Agents: Emerging Paradigm or Overstated Hype?"

NicheNet: memprediksi tautan ligan-target aktif antar sel yang berinteraksi

Integrasi data sel tunggal yang cepat, sensitif, dan akurat dengan Harmony

Conduit mengalirkan data antar penyimpanan data. Pengganti Kafka Connect. Tidak memerlukan JVM.

Daftar kurasi alat sumber terbuka yang digunakan dalam platform analitik dan ekosistem data engineering

Kumpulan materi terkait Apache Hudi