spark

高性能数据存储解决方案

这是《Learning Spark: Lightning-Fast Data Analytics [第 2 版]》的 GitHub 仓库。

适用于 Docker 与 Kubernetes 的 50+ 个 DockerHub 公开镜像 - DevOps、CI/CD、GitHub Actions、CircleCI、Jenkins、TeamCity、Alpine、CentOS、Debian、Fedora、Ubuntu、Hadoop、Kafka、ZooKeeper、HBase、Cassandra、Solr、SolrCloud、Presto、Apache Drill、Nifi、Spark、Consul、Riak

用于操作远程 Spark 集群的 Jupyter magics 与 kernels

Taier 是一个用于提交、调度、运维与指标信息展示的大数据开发平台

PySpark-Tutorial 提供使用 PySpark 的基础算法

Apache DataFusion Comet Spark 加速器

使用 ML 进行可扩展的主数据管理、身份解析、实体解析与去重

GraphFrames 是一个为 Apache Spark 提供基于 DataFrame 的图（Graph）包。

Apache Amoro(incubating) 是一个构建在开放数据湖格式上的 Lakehouse 管理系统。

数据工程与机器学习知识中心

Apache Celeborn 是一个弹性且高性能的 Shuffle 与溢出数据服务。

ADAM 是一个基因组分析平台，采用 Apache Avro、Apache Spark 和 Apache Parquet 建构特制档案格式。采用 Apache 2 授权。

ListenBrainz 项目的服务器，包含其提供的前端 (javascript/react) 代码以及 LB 使用的所有数据处理组件。

适用于 Apache Spark 的 NVIDIA cuDF 插件 - 使用 GPU 加速 Apache Spark

一份关于 Apache Spark 的免费教程

Sparkling Water 在 Spark 集群中提供 H2O 功能

Apache Spark 的 R 接口

Apache Livy 是一个开源 REST 接口，用于从任何地方与 Apache Spark 互动。

用于 GenAI 应用程序数据准备的开源项目

安全数据共享的开放协议

Apache Spark 的 C# 与 F# 语言绑定与扩展

一个 Spark 连接器，允许对 Redis 集群进行读写操作

Spark 的表达式类型。

TiSpark 专为在 TiDB/TiKV 之上运行 Apache Spark 而构建

精选的 Ada 与 SPARK 编程语言相关优质资源列表

DoEKS 是一个在 Amazon EKS 上构建、部署与扩展数据平台的工具。

此存储库包含 sparkMeasure 的开发代码，这是一个 Apache Spark 性能分析与疑难排解库。它简化了 Spark 任务／阶段指标的收集、汇总与导出，专为开发者与数据工程师在交互式分析、测试及生产监控工作流程中的实际应用而设计。

80+ DevOps 与数据 CLI 工具 - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 数据转换器与验证器 (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 等。

Scriptis 用于交互式数据分析，包含脚本开发（SQL、Pyspark、HiveQL）、工作提交（Spark、Hive）、UDF、函数、资源管理与智能诊断。