apache-spark

Platform rekayasa AI sumber terbuka untuk agen, LLM, dan model ML. MLflow memungkinkan tim dari berbagai skala untuk men-debug, mengevaluasi, memantau, dan mengoptimalkan aplikasi AI berkualitas produksi sambil mengontrol biaya serta mengelola akses ke model dan data.

lakeFS - Kontrol versi data untuk data lake Anda | Git untuk data.

Pustaka Python Machine Learning yang sederhana dan terdistribusi untuk memindahkan algoritma ML ke Spark.

Pengganti Apache Spark drop-in yang ditulis dalam Rust, menyatukan pemrosesan batch, pemrosesan stream, dan beban kerja AI yang intensif komputasi.

Operator Kubernetes untuk mengelola siklus hidup aplikasi Apache Spark di Kubernetes.

.NET for Apache® Spark™ membuat Apache Spark™ mudah diakses oleh pengembang .NET.

Citra docker Apache Spark

Feathr – Platform rekayasa data dan AI yang terpadu dan dapat diskalakan untuk perusahaan.

Daftar kurasi paket dan sumber daya Apache Spark yang luar biasa.

Jeroan Internal Apache Spark

Repositori GitHub untuk Learning Spark: Lightning-Fast Data Analytics [Edisi ke-2]

GraphFrames adalah paket untuk Apache Spark yang menyediakan Graf berbasis DataFrame.

MapReduce, Spark, Java, dan Scala untuk Buku Algoritma Data

Antarmuka R untuk Apache Spark

Pengikatan bahasa dan ekstensi C# serta F# untuk Apache Spark

Implementasi Apache Parquet yang dikelola sepenuhnya

Repositori ini berisi kode pengembangan untuk sparkMeasure, pustaka analisis dan pemecahan masalah kinerja Apache Spark. Pustaka ini menyederhanakan pengumpulan, agregasi, dan ekspor metrik tugas/tahap Spark, serta dirancang untuk penggunaan praktis oleh pengembang dan data engineer dalam alur kerja analisis interaktif, pengujian, dan pemantauan produksi.

Metode PySpark untuk meningkatkan produktivitas pengembang.

Alat baris perintah untuk meluncurkan kluster Apache Spark.

Daftar tentang Apache Kafka

Layanan web REST untuk skoring real-time sejati (<1 md) pada model Scikit-Learn, R, dan Apache Spark