bigdata

Repositori yang berisi tautan ke semua hal yang ingin Anda pelajari tentang data engineering

🚀 2,3x lebih cepat dari MinIO untuk payload objek 4KB. RustFS adalah sistem penyimpanan objek berkinerja tinggi yang kompatibel dengan S3, sumber terbuka, dan mendukung migrasi serta koeksistensi dengan platform lain yang kompatibel dengan S3 seperti MinIO dan Ceph.

Basis data deret waktu (time-series) berkinerja tinggi dan skalabel yang dirancang untuk skenario Industrial IoT (IIoT).

Memberdayakan kecerdasan data dengan SQL terdistribusi untuk sharding, skalabilitas, dan keamanan di semua database.

Panduan pengantar Big Data :star:

Daftar pilihan kerangka kerja big data, sumber daya, dan hal menarik lainnya.

JuiceFS adalah sistem file POSIX terdistribusi yang dibangun di atas Redis dan S3.

Data Agent Ready Warehouse: Satu solusi untuk Analytics, Search, AI, dan Python Sandbox — dibangun dari nol. Arsitektur terpadu di atas S3 Anda.

DataFrame Apache Arrow/NumPy hibrida Out-of-Core untuk Python, ML, visualisasi, dan eksplorasi data tabular besar pada satu miliar baris per detik 🚀

Upsert, Penghapusan, dan Pemrosesan Inkremental pada Big Data.

Sistem Batch Cloud Native (Proyek di bawah CNCF)

100+ templat HTML5 dasbor visualisasi data besar; mencakup industri: komunitas, properti, pemerintahan, transportasi, perbankan, dan lainnya. Templat visualisasi data yang paling lengkap, terbaru, dan menarik, terus diperbarui.

Sebuah kerangka kerja integrasi data

Alat untuk menghasilkan pernyataan SQL terstruktur menggunakan JSON, diimplementasikan dengan Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. Proyek sederhana yang berfokus pada logika, cocok untuk latihan.

Apache Avro adalah sistem serialisasi data.

Pembelajaran Big Data dari nol, mencakup video pembelajaran dari berbagai tahap dan materi wawancara.

GridDB adalah basis data sumber terbuka generasi berikutnya yang membuat IoT deret waktu dan data besar menjadi cepat dan mudah.

Aix-DB berbasis kerangka kerja LangChain/LangGraph, dikombinasikan dengan arsitektur kolaborasi multi-agen MCP Skills, untuk mencapai konversi end-to-end dari bahasa alami ke wawasan data.

.NET for Apache® Spark™ membuat Apache Spark™ mudah diakses oleh pengembang .NET.

Ekstensi SQL waktu nyata berbasis Flink sumber terbuka; terutama mengimplementasikan join antara stream dan tabel dimensi, mendukung semua sintaks asli Flink SQL

Byzer (sebelumnya MLSQL): Bahasa pemrograman sumber terbuka rendah-kode untuk pipeline data, analitik, dan AI.

Repositori pengetahuan big data yang mencakup pemodelan data warehouse, komputasi real-time, big data, data middle office, desain sistem, Java, algoritma, dll.

Layanan Orkestrasi Big Data Terdistribusi

Web crawler gambar multiproses Google, Naver (Selenium)

Tutorial Apache Spark & Python (pySpark) untuk Analisis Big Data dan Machine Learning sebagai notebook IPython / Jupyter

:truck: Alur kerja Persiapan Data Agile menjadi lebih mudah dengan Pandas, Dask, cuDF, Dask-cuDF, Vaex, dan PySpark

Platform penemuan dan observabilitas data sumber terbuka pertama. Kami mempermudah kehidupan para praktisi data agar Anda dapat fokus pada bisnis Anda.

Apache Celeborn adalah layanan elastis dan berkinerja tinggi untuk data shuffle dan spilled.

Sinkronisasi data di golang untuk ClickHouse.

Apache Livy adalah antarmuka REST sumber terbuka untuk berinteraksi dengan Apache Spark dari mana saja.