data-engineering

SQL Translator adalah alat untuk mengubah kueri bahasa alami menjadi kode SQL menggunakan kecerdasan buatan. Proyek ini 100% gratis dan sumber terbuka.

pandas di AWS - Integrasi mudah dengan Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer, dan S3 (Parquet, CSV, JSON, dan EXCEL).

Daftar sumber daya berguna untuk mempelajari Data Engineering dari awal.

Maestro: Orchestrator Alur Kerja dari Netflix.

Toolkit Data-Wrangling yang sangat cepat

Memphis.dev adalah platform data streaming yang sangat dapat menskalakan dan mudah digunakan

Pelajari cara merancang, mengembangkan, menerapkan, dan mengiterasi aplikasi ML tingkat produksi.

Pengganti Apache Spark drop-in yang ditulis dalam Rust, menyatukan pemrosesan batch, pemrosesan stream, dan beban kerja AI yang intensif komputasi.

Daftar proyek rekayasa data sumber terbuka yang luar biasa.

Apache DevLake adalah platform data pengembangan sumber terbuka untuk mengambil, menganalisis, dan memvisualisasikan data terfragmentasi dari alat DevOps, mengekstrak wawasan untuk keunggulan rekayasa, pengalaman pengembang, dan pertumbuhan komunitas.

Pelajari cara membangun asisten AI Second Brain Anda dengan teknik LLM, agen, RAG, fine-tuning, LLMOps, dan sistem AI.

Meltano: mesin integrasi data deklaratif berbasis kode yang mendukung ide produk berbasis data dan ML Anda. Ucapkan selamat tinggal pada penulisan, pemeliharaan, dan penskalaan integrasi API Anda sendiri.

Apache Hamilton membantu ilmuwan dan insinyur data mendefinisikan alur data yang dapat diuji, modular, dan terdokumentasi secara mandiri, yang menyertakan lineage/tracing dan metadata. Dapat dijalankan dan diskalakan di mana pun Python berjalan.

SOTA baru untuk RAG — arsitektur pengambilan orisinal dan basis pengetahuan sumber terbuka untuk manusia dan agen.

Layanan peringkat personalisasi Machine Learning low-code untuk artikel, daftar, hasil pencarian, dan rekomendasi yang meningkatkan keterlibatan pengguna. Mesin Learn-to-Rank yang ramah.

Mesin Data Contracts untuk tumpukan data modern. https://www.soda.io

Datart adalah Platform Terbuka Visualisasi Data generasi berikutnya

Pemrosesan Stream Python.

Tempat terbaik untuk mempelajari data engineering. Dibuat dan dikelola oleh komunitas data engineering.

Feathr – Platform rekayasa data dan AI yang terpadu dan dapat diskalakan untuk perusahaan.

Daftar sumber daya dbt pilihan yang luar biasa

Lebih dari 2000+ pertanyaan wawancara Data Engineer.

MLRun adalah platform MLOps open-source untuk membangun dan mengelola aplikasi ML berkelanjutan secara cepat di seluruh siklus hidupnya. MLRun terintegrasi ke dalam lingkungan pengembangan dan CI/CD Anda serta mengotomatiskan pengiriman data produksi, pipeline ML, dan aplikasi online.

🔥🔥🔥 Reverse ETL sumber terbuka - alternatif untuk hightouch dan census.

Daftar komprehensif berisi 180+ Channel YouTube untuk Data Science, Data Engineering, Machine Learning, Deep Learning, Computer Science, pemrograman, software engineering, dll.

👾 nao adalah agen analitik open source. (1) Buat konteks dengan CLI nao-core, (2) deploy antarmuka chat nao untuk semua orang

:bar_chart: :clipboard: Dashboard menggunakan file YAML atau JSON

ktx adalah lapisan konteks yang dapat dieksekusi untuk agen data dan analitik 🐙 Memungkinkan Claude Code, Codex, atau agen AI lainnya untuk mengkueri database analitis secara akurat dan dengan konteks penuh perusahaan Anda

DataFrame Streaming Python untuk Kafka

Python konkurensi dibuat menjadi sederhana