spark

高效能資料儲存解決方案

這是《Learning Spark: Lightning-Fast Data Analytics [第 2 版]》的 GitHub 儲存庫。

適用於 Docker 與 Kubernetes 的 50+ 個 DockerHub 公開映像檔 - DevOps、CI/CD、GitHub Actions、CircleCI、Jenkins、TeamCity、Alpine、CentOS、Debian、Fedora、Ubuntu、Hadoop、Kafka、ZooKeeper、HBase、Cassandra、Solr、SolrCloud、Presto、Apache Drill、Nifi、Spark、Consul、Riak

用於操作遠端 Spark 叢集的 Jupyter magics 與 kernels

Taier 是一個用於提交、排程、運維與指標資訊展示的大數據開發平台

PySpark-Tutorial 提供使用 PySpark 的基礎演算法

Apache DataFusion Comet Spark 加速器

使用 ML 進行可擴展的主資料管理、身分解析、實體解析與去重複化

GraphFrames 是一個為 Apache Spark 提供基於 DataFrame 的圖形（Graph）套件。

Apache Amoro(incubating) 是一個建構在開放資料湖格式上的 Lakehouse 管理系統。

資料工程與機器學習知識中心

Apache Celeborn 是一個彈性且高效能的 Shuffle 與溢出資料服務。

ADAM 是一個基因體分析平台，採用 Apache Avro、Apache Spark 和 Apache Parquet 建構特製檔案格式。採用 Apache 2 授權。

ListenBrainz 專案的伺服器，包含其提供的前端 (javascript/react) 程式碼以及 LB 使用的所有資料處理元件。

適用於 Apache Spark 的 NVIDIA cuDF 外掛程式 - 使用 GPU 加速 Apache Spark

一份關於 Apache Spark 的免費教學

Sparkling Water 在 Spark 叢集中提供 H2O 功能

Apache Spark 的 R 介面

Apache Livy 是一個開源 REST 介面，用於從任何地方與 Apache Spark 互動。

用於 GenAI 應用程式資料準備的開源專案

安全資料共享的開放協定

Apache Spark 的 C# 與 F# 語言繫結與擴充

一個 Spark 連接器，允許對 Redis 叢集進行讀寫操作

Spark 的表達式型別。

TiSpark 專為在 TiDB/TiKV 之上執行 Apache Spark 而建構

精選的 Ada 與 SPARK 程式語言相關優質資源列表

DoEKS 是一個在 Amazon EKS 上建構、部署與擴展資料平台的工具。

此儲存庫包含 sparkMeasure 的開發程式碼，這是一個 Apache Spark 效能分析與疑難排解函式庫。它簡化了 Spark 任務／階段指標的收集、彙總與匯出，專為開發者與資料工程師在互動式分析、測試及生產監控工作流程中的實際應用而設計。

80+ DevOps 與資料 CLI 工具 - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 資料轉換器與驗證器 (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 等。

Scriptis 用於互動式資料分析，包含指令碼開發（SQL、Pyspark、HiveQL）、工作提交（Spark、Hive）、UDF、函式、資源管理與智慧診斷。