apache-spark

開源 AI 工程平台，支援代理、LLM 與機器學習模型。MLflow 讓各規模團隊能除錯、評估、監控與最佳化生產等級的 AI 應用，同時控制成本並管理模型與資料的存取。

lakeFS - 資料湖的資料版本控制 | Git for data

簡單且分散式的機器學習 Python 函式庫，將 ML 演算法移植至 Spark。

以 Rust 編寫的 Apache Spark 無縫替代方案，統一了批次處理、串流處理和運算密集型 AI 工作負載。

Kubernetes operator，用于管理在 Kubernetes 上运行的 Apache Spark 应用生命周期

.NET for Apache® Spark™ 讓 .NET 開發人員能夠輕鬆使用 Apache Spark™。

Apache Spark docker 映像檔

Feathr – 企業級的可擴展統一資料與 AI 工程平台

精選的 Apache Spark 套件與資源清單。

Apache Spark 內幕解析

這是《Learning Spark: Lightning-Fast Data Analytics [第 2 版]》的 GitHub 儲存庫。

GraphFrames 是一個為 Apache Spark 提供基於 DataFrame 的圖形（Graph）套件。

資料演算法書籍的 MapReduce、Spark、Java 與 Scala 實作

Apache Spark 的 R 介面

Apache Spark 的 C# 與 F# 語言繫結與擴充

完全託管的 Apache Parquet 實作

此儲存庫包含 sparkMeasure 的開發程式碼，這是一個 Apache Spark 效能分析與疑難排解函式庫。它簡化了 Spark 任務／階段指標的收集、彙總與匯出，專為開發者與資料工程師在互動式分析、測試及生產監控工作流程中的實際應用而設計。

提升開發者生產力的 pyspark 方法 📣 👯 🎉

用於啟動 Apache Spark 叢集的命令列工具。

關於 Apache Kafka 的列表

用於 Scikit-Learn、R 與 Apache Spark 模型即時評分（<1 毫秒）的 REST Web 服務