data-pipelines

Framework ETL Python untuk pemrosesan stream, analitik real-time, pipeline LLM, dan RAG.

Apache Airflow - Platform untuk membuat, menjadwalkan, dan memantau alur kerja secara terprogram.

Platform orkestrasi untuk pengembangan, produksi, dan observasi aset data.

Konversi dokumen ke data terstruktur dengan mudah. Unstructured adalah solusi ETL open-source untuk mengubah dokumen kompleks menjadi format bersih dan terstruktur untuk model bahasa. Kunjungi situs web kami untuk mempelajari lebih lanjut tentang produk Platform kelas enterprise kami untuk alur kerja kelas produksi, pempartisian, pengayaan, chunking, dan embedding.

Apache DolphinScheduler adalah platform orkestrasi data modern. Tangkas dalam membuat alur kerja berkinerja tinggi dengan low-code

Kedro adalah perangkat untuk data science siap produksi. Kedro menggunakan praktik terbaik rekayasa perangkat lunak untuk membantu Anda membuat pipeline data engineering dan data science yang dapat direproduksi, dipelihara, dan modular.

Membangun, menjalankan, dan mengelola pipeline data untuk integrasi dan transformasi data.

Persiapan data yang mudah dengan operator dan pipeline berbasis LLM terbaru.

🦀 Pemrosesan alur kejadian bagi pengembang untuk mengumpulkan dan mengubah data yang sedang bergerak guna mendukung aplikasi intensif data yang responsif.

Preswald adalah pengemas WASM untuk aplikasi data interaktif berbasis Python: menggabungkan alur kerja data yang kompleks, terutama visualisasi, menjadi satu file yang dapat dijalankan sepenuhnya di peramban menggunakan Pyodide, DuckDB, Pandas, Plotly, Matplotlib, dll. Bangun dasbor, laporan, dan notebook yang berjalan secara luring, dimuat dengan cepat, dan dibagikan layaknya dokumen.

Sistem untuk pemrosesan data dan ETL berbasis LLM yang bersifat agen

Maestro: Orchestrator Alur Kerja dari Netflix.

Meltano: mesin integrasi data deklaratif berbasis kode yang mendukung ide produk berbasis data dan ML Anda. Ucapkan selamat tinggal pada penulisan, pemeliharaan, dan penskalaan integrasi API Anda sendiri.

Solusi observabilitas data berbasis dbt untuk data & analytics engineer. Pantau pipeline data Anda dalam hitungan menit. Tersedia sebagai layanan self-hosted atau cloud dengan fitur premium.

Mesin Komputasi Inkremental Feldera

Tempat terbaik untuk mempelajari data engineering. Dibuat dan dikelola oleh komunitas data engineering.

Ekstraksi data tak terstruktur yang cepat dan efisien. Ditulis dalam bahasa Rust dengan binding untuk berbagai bahasa.

Bangun pipeline data dengan SQL dan Python, ambil data dari berbagai sumber, tambahkan pemeriksaan kualitas, dan buat alur end-to-end.

MLeap: Terapkan Pipeline ML ke Produksi

Python konkurensi dibuat menjadi sederhana

Platform penemuan dan observabilitas data sumber terbuka pertama. Kami mempermudah kehidupan para praktisi data agar Anda dapat fokus pada bisnis Anda.

Templat paket Python komprehensif untuk memulai dan menstandarisasi inisiatif MLOps serta alur data Anda.

persiapan data visual yang didukung oleh python

Optimus adalah orkestrator alur kerja yang mudah digunakan, andal, dan berkinerja tinggi untuk transformasi data, pemodelan data, pipeline, dan manajemen kualitas data.

Paket dbt ini menangkap metadata, artefak, dan hasil pengujian sehingga Anda dapat mendeteksi anomali, memantau kualitas data, dan membangun tabel metadata. Ini mendukung Elementary OSS dan memasok lapisan konteks yang lebih luas yang digunakan oleh Data & AI Control Plane Elementary Cloud.