bigdata

此倉庫包含所有你想學習的資料工程相關連結

🚀比 MinIO 快 2.3 倍（4KB 物件負載），RustFS 為開源、相容 S3 的高效能物件儲存系統，支援與 MinIO、Ceph 等 S3 相容平台的遷移與共存

為工業物聯網（IIoT）情境設計的高效能、可擴展時間序列資料庫

以分散式 SQL 為基礎，提供跨所有資料庫的分片、可擴充性與安全性，賦能資料智慧化

大資料入門指南 ★

精選的大數據框架、資源與其他相關優秀項目列表

JuiceFS 是建構於 Redis 與 S3 之上的分散式 POSIX 檔案系統。

Data Agent Ready Warehouse：一站式分析、搜尋、AI、Python 沙盒平台，從零全新構建，統一架構於您的 S3。

針對 Python、機器學習、視覺化與探索的大規模表格資料，提供每秒十億列的 Out-of-Core 混合 Apache Arrow/NumPy DataFrame 解決方案 🚀

大數據上的上插、刪除與增量處理

雲原生批次系統（CNCF 旗下專案）

100+ 套大數據可視化炫酷大屏 Html5 模板；涵蓋社區、物業、政務、交通、金融銀行等行業，網絡最新、最多、最全、最酷、最炫大數據可視化模板，持續更新中

資料整合框架

🔨 用 JSON 生成結構化 SQL 語句，基於 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor，項目簡單（重邏輯輕頁面），適合練手

Apache Avro 是一個資料序列化系統

大數據學習，從零開始學習大數據，包含大數據學習各階段學習影片、面試資料

GridDB 是一個次世代開源資料庫，能讓時間序列 IoT 與大數據處理變得快速又簡單。

Aix-DB 基於 LangChain/LangGraph 框架，結合 MCP Skills 多智能體協作架構，實現自然語言到資料洞察的端到端轉換。

.NET for Apache® Spark™ 讓 .NET 開發人員能夠輕鬆使用 Apache Spark™。

基於開源的 Flink，對其實時 SQL 進行擴展；主要實現了流與維表的 join，支援原生 Flink SQL 所有的語法

Byzer（前身為 MLSQL）：用於資料管線、分析與 AI 的低代碼開源程式語言。

大數據知識倉庫涉及到數據倉庫建模、即時計算、大數據、數據中台、系統設計、Java、演算法等。

分散式大數據編排服務

Google、Naver 多行程圖片網路爬蟲 (Selenium)

作為 IPython / Jupyter 筆記本的大數據分析與機器學習 Apache Spark & Python (pySpark) 教學課程

:truck: 透過 Pandas、Dask、cuDF、Dask-cuDF、Vaex 與 PySpark 輕鬆實現敏捷資料準備工作流程。

首個開源的資料發現與可觀測性平台。我們讓資料從業者輕鬆工作，以便您專注於業務。

Apache Celeborn 是一個彈性且高效能的 Shuffle 與溢出資料服務。

適用於 ClickHouse 的 Golang 資料同步工具。

Apache Livy 是一個開源 REST 介面，用於從任何地方與 Apache Spark 互動。