bigdata

此仓库包含所有你想学习的数据工程相关链接

🚀比 MinIO 快 2.3 倍（4KB 对象负载），RustFS 是开源、兼容 S3 的高性能对象存储系统，支持与 MinIO、Ceph 等 S3 兼容平台的迁移与共存

为工业物联网（IIoT）场景设计的高性能、可扩展时间序列数据库

以分布式 SQL 为基础，提供跨所有数据库的分片、可扩展性与安全性，赋能数据智能

大数据入门指南 ★

精选的大数据框架、资源与其他相关优秀项目列表

JuiceFS 是构建在 Redis 与 S3 之上的分布式 POSIX 文件系统。

Data Agent Ready Warehouse：一站式分析、搜索、AI、Python 沙盒平台，重新从零构建，统一架构于您的 S3。

针对 Python、机器学习、可视化与探索的大规模表格数据，提供每秒十亿行的 Out-of-Core 混合 Apache Arrow/NumPy DataFrame 解决方案 🚀

大数据上的上插、删除与增量处理

云原生批处理系统（CNCF 项目）

100+ 套大数据可视化炫酷大屏 Html5 模板；涵盖社区、物业、政务、交通、金融银行等行业，网络最新、最多、最全、最酷、最炫大数据可视化模板，持续更新中

数据整合框架

🔨 用 JSON 生成结构化 SQL 语句，基于 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor，项目简单（重逻辑轻页面），适合练手

Apache Avro 是一个资料序列化系统

大数据学习，从零开始学习大数据，包含大数据学习各阶段学习视频、面试资料

GridDB 是一个次世代开源数据库，能让时间序列 IoT 与大数据处理变得快速又简单。

Aix-DB 基于 LangChain/LangGraph 框架，结合 MCP Skills 多智能体协作架构，实现自然语言到数据洞察的端到端转换。

.NET for Apache® Spark™ 让 .NET 开发者能够轻松使用 Apache Spark™。

基于开源的 Flink，对其实时 SQL 进行扩展；主要实现了流与维表的 join，支持原生 Flink SQL 所有的语法

Byzer（前身为 MLSQL）：用于数据管道、分析与 AI 的低代码开源编程语言。

大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等。

分布式大数据编排服务

Google、Naver 多进程图片网络爬虫 (Selenium)

作为 IPython / Jupyter 笔记本的大数据分析与机器学习 Apache Spark & Python (pySpark) 教程

:truck: 通过 Pandas、Dask、cuDF、Dask-cuDF、Vaex 和 PySpark 轻松实现敏捷数据准备工作流程。

首个开源的数据发现与可观测性平台。我们让数据从业者轻松工作，以便您专注于业务。

Apache Celeborn 是一个弹性且高性能的 Shuffle 与溢出数据服务。

适用于 ClickHouse 的 Golang 数据同步工具。

Apache Livy 是一个开源 REST 接口，用于从任何地方与 Apache Spark 互动。