apache-spark

开源 AI 工程平台，支持代理、LLM 与机器学习模型。MLflow 使各种规模的团队能够调试、评估、监控和优化生产级 AI 应用，同时控制成本并管理模型和数据的访问。

lakeFS - 数据湖的数据版本控制 | Git for data

简单且分散式的机器学习 Python 函式库，将 ML 算法移植至 Spark。

以 Rust 编写的 Apache Spark 无缝替代方案，统一了批处理、流处理和计算密集型 AI 工作负载。

Kubernetes operator，用于管理在 Kubernetes 上运行的 Apache Spark 应用生命周期

.NET for Apache® Spark™ 让 .NET 开发者能够轻松使用 Apache Spark™。

Apache Spark docker 镜像

Feathr – 企业级可扩展的统一数据与 AI 工程平台

精选的 Apache Spark 套件与资源列表。

Apache Spark 内幕解析

这是《Learning Spark: Lightning-Fast Data Analytics [第 2 版]》的 GitHub 仓库。

GraphFrames 是一个为 Apache Spark 提供基于 DataFrame 的图（Graph）包。

数据算法书籍的 MapReduce、Spark、Java 与 Scala 实现

Apache Spark 的 R 接口

Apache Spark 的 C# 与 F# 语言绑定与扩展

完全托管的 Apache Parquet 实现

此存储库包含 sparkMeasure 的开发代码，这是一个 Apache Spark 性能分析与疑难排解库。它简化了 Spark 任务／阶段指标的收集、汇总与导出，专为开发者与数据工程师在交互式分析、测试及生产监控工作流程中的实际应用而设计。

提升开发者生产力的 pyspark 方法 📣 👯 🎉

用于启动 Apache Spark 集群的命令行工具。

关于 Apache Kafka 的列表

用于 Scikit-Learn、R 与 Apache Spark 模型即时评分（<1 毫秒）的 REST Web 服务