spark

Data Engineering Zoomcamp 是一个为期 9 周的免费课程，教导构建可投入生产的数据管道。下一期课程于 2026 年 1 月开始。点击此处加入课程 👇🏼

Apache Spark - 用于大规模数据处理的统一分析引擎

数据科学 Python Notebook：深度学习（TensorFlow、Theano、Caffe、Keras）、scikit-learn、Kaggle、大数据（Spark、Hadoop MapReduce、HDFS）、matplotlib、pandas、NumPy、SciPy、Python 基础、AWS 以及各种命令行工具。

让公司数据驱动。连接任意数据源，轻松可视化、仪表盘并分享数据

最新 Docker 容器技术，从真实案例中学习最佳实践！| 学习并了解 Docker 与容器技术，结合实际 DevOps 实践！

大数据入门指南 ★

Data Science 速查表汇整，助你称霸数据科学领域

ChatGPT API 与多种 LLM 的 GUI，支持代理、基于文件的问答、GPT 微调与网页搜索查询，全部配备整洁 UI

flink 学习博客。http://www.54tianzhisheng.cn/ 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例，还有 Flink 落地应用的大型项目案例（PVUV、日志存储、百亿数据实时去重、监控告警）分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》

【大厂面试专栏】一份 Java 程序员需要的技术指南，包含面试题、系统架构、职场锦囊、主流中间件等，让你成为更牛的自己！

在 JVM 上部署和训练深度学习模型的工具套件。亮点包括对 keras、tensorflow、onnx/pytorch 的模型导入、用于运行数学代码的模块化且轻量的 C++ 库，以及基于核心 C++ 库的 Java 数学库，还包括类似 PyTorch/TensorFlow 的 samediff 库。

Python SQL 解析器与转译器

开源存储框架，支持 Spark、PrestoDB、Flink、Trino、Hive 等计算引擎，构建 Lakehouse 架构与 API

🧙 构建、运行与管理数据管道，用于数据集成与转换

H2O 是开源、分布式、快速且可扩展的机器学习平台：深度学习、梯度提升（GBM）与 XGBoost、随机森林、广义线性模型（GLM with Elastic Net）、K-Means、PCA、广义加法模型（GAM）、RuleFit、支持向量机（SVM）、堆叠集成、AutoML 等

Alluxio，云端分析与机器学习的数据编排平台

用于大规模机器学习的弹性且功能强大的参数服务器。

基于网页的笔记本，支持数据驱动、交互式数据分析与协作文件，包含 SQL、Scala 等

简单且分散式的机器学习 Python 函式库，将 ML 算法移植至 Spark。

cube studio 开源云原生一站式机器学习/深度学习/大模型 AI 平台，mlops 算法链路全流程，算力租赁平台，notebook 在线开发，拖拉拽任务流 pipeline 编排，多机多卡分布式训练，超参数搜索，推理服务 VGPU 虚拟化，边缘计算，标注平台自动化标注，deepseek 等大模型 sft 微调/奖励模型/强化学习训练，vllm/ollama/mindie 大模型多机推理，私有知识库，AI 模型市场，支持国产 CPU/GPU/NPU 昇腾生态，支持 RDMA，支持 pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano 等分布式

前沿自然语言处理

The Hunting ELK

更好的 Java 压缩位元集：被 Apache Spark、Netflix Atlas、Apache Pinot、Tablesaw 等多个项目使用

Deequ 是一个建立在 Apache Spark 上的库，用于定义「数据单元测试」，衡量大型数据集的数据质量。

🔨 用 JSON 生成结构化 SQL 语句，基于 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor，项目简单（重逻辑轻页面），适合练手

Apache Linkis 建立计算中介层，促进上层应用与底层数据引擎之间的连接、治理与编排

Apache Paimon 是一种湖泊格式，能与 Flink 与 Spark 一同构建实时湖屋架构，支持流式与批处理

Koalas：Apache Spark 上的 pandas API

以 Rust 编写的 Apache Spark 无缝替代方案，统一了批处理、流处理和计算密集型 AI 工作负载。

DataSphereStudio is a one stop data application development& management portal, covering scenarios including data exchange, desensitization/cleansing, analysis/mining, quality measurement, visualization, and task scheduling.