spark

Data Engineering Zoomcamp 是一個為期 9 週的免費課程，教導建構可投入生產的資料管線。下一期課程於 2026 年 1 月開始。點此加入課程 👇🏼

Apache Spark - 用於大規模資料處理的統一分析引擎

資料科學 Python Notebook：深度學習（TensorFlow、Theano、Caffe、Keras）、scikit-learn、Kaggle、大數據（Spark、Hadoop MapReduce、HDFS）、matplotlib、pandas、NumPy、SciPy、Python 基礎、AWS 及各種指令列工具。

讓公司數據驅動。連接任意資料來源，輕鬆視覺化、儀表板並分享資料

最新 Docker 容器技術，從真實案例中學習最佳實踐！| 學習並了解 Docker 與容器技術，結合實際 DevOps 實踐。

大資料入門指南 ★

Data Science 速查表彙整，助你稱霸資料科學領域

ChatGPT API 與多種 LLM 的 GUI，支援代理、基於文件的問答、GPT 微調與網頁搜尋查詢，全部配備整潔 UI

flink 學習部落格。http://www.54tianzhisheng.cn/ 含 Flink 入門、概念、原理、實戰、性能調優、原始碼解析等內容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等內容的學習案例，還有 Flink 落地應用的大型專案案例（PVUV、日誌存儲、百億資料即時去重、監控告警）分享。歡迎大家支持我的專欄《大數據即時計算引擎 Flink 實戰與性能優化》

【大廠面試專欄】一份 Java 程式員需要的技術指南，包含面試題、系統架構、職場錦囊、主流中間件等，讓你成為更牛的自己！

在 JVM 上部署與訓練深度學習模型的工具套件。特色包括支援 keras、tensorflow、onnx/pytorch 的模型匯入、用於執行數學運算的模組化且輕量的 C++ 函式庫，以及基於核心 C++ 函式庫的 Java 數學函式庫，亦包含類似 PyTorch/TensorFlow 的 samediff 庫。

Python SQL 解析器與轉譯器

開源儲存框架，支援 Spark、PrestoDB、Flink、Trino、Hive 等計算引擎，構建 Lakehouse 架構與 API

🧙 建置、執行與管理資料管線，用於資料整合與轉換

H2O 是開源、分散式、快速且可擴展的機器學習平台：深度學習、梯度提升（GBM）與 XGBoost、隨機森林、廣義線性模型（GLM with Elastic Net）、K-Means、PCA、廣義加法模型（GAM）、RuleFit、支援向量機（SVM）、堆疊集成、AutoML 等

Alluxio，雲端分析與機器學習的資料協調平台

用於大規模機器學習的彈性且功能強大的參數伺服器。

基於網頁的筆記本，支援資料驅動、互動式資料分析與協作文件，包含 SQL、Scala 等

簡單且分散式的機器學習 Python 函式庫，將 ML 演算法移植至 Spark。

cube studio 開源雲原生一站式機器學習/深度學習/大模型 AI 平台，mlops 算法鏈路全流程，算力租賃平台，notebook 在線開發，拖拉拽任務流 pipeline 編排，多機多卡分布式訓練，超參數搜索，推理服務 VGPU 虛擬化，邊緣計算，標註平台自動化標註，deepseek 等大模型 sft 微調/獎勵模型/強化學習訓練，vllm/ollama/mindie 大模型多機推理，私有知識庫，AI 模型市場，支援國產 CPU/GPU/NPU 昇騰生態，支援 RDMA，支援 pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano 等分布式

前沿自然語言處理

The Hunting ELK

更好的 Java 壓縮位元集：被 Apache Spark、Netflix Atlas、Apache Pinot、Tablesaw 等多個專案使用

Deequ 是一個建立在 Apache Spark 上的函式庫，用於定義「資料單元測試」，衡量大型資料集的資料品質。

🔨 用 JSON 生成結構化 SQL 語句，基於 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor，項目簡單（重邏輯輕頁面），適合練手

Apache Linkis 建立計算中介層，促進上層應用與底層數據引擎之間的連接、治理與編排

Apache Paimon 是一種湖泊格式，能與 Flink 與 Spark 一同構建即時湖屋架構，支援流式與批處理

Koalas：Apache Spark 上的 pandas API

以 Rust 編寫的 Apache Spark 無縫替代方案，統一了批次處理、串流處理和運算密集型 AI 工作負載。

DataSphereStudio is a one stop data application development& management portal, covering scenarios including data exchange, desensitization/cleansing, analysis/mining, quality measurement, visualization, and task scheduling.