pyspark

可攜式 Python dataframe 库

簡單且分散式的機器學習 Python 函式庫，將 ML 演算法移植至 Spark。

前沿自然語言處理

Apache Linkis 建立計算中介層，促進上層應用與底層數據引擎之間的連接、治理與編排

以 Rust 編寫的 Apache Spark 無縫替代方案，統一了批次處理、串流處理和運算密集型 AI 工作負載。

精選的 Apache Spark 套件與資源清單。

Petastorm 庫支援從 Apache Parquet 格式的資料集進行深度學習模型的單機或分散式訓練與評估。它支援 TensorFlow、PyTorch 和 PySpark 等 ML 框架，並可直接從純 Python 程式碼中使用。

dataframe 函式庫之間輕量且可擴充的相容層！

作為 IPython / Jupyter 筆記本的大數據分析與機器學習 Apache Spark & Python (pySpark) 教學課程

:truck: 透過 Pandas、Dask、cuDF、Dask-cuDF、Vaex 與 PySpark 輕鬆實現敏捷資料準備工作流程。

用於操作遠端 Spark 叢集的 Jupyter magics 與 kernels

Hopsworks - 具備特徵儲存庫的資料密集型 AI 平台

PySpark-Tutorial 提供使用 PySpark 的基礎演算法

GraphFrames 是一個為 Apache Spark 提供基於 DataFrame 的圖形（Graph）套件。

資料演算法書籍的 MapReduce、Spark、Java 與 Scala 實作

Sparkling Water 在 Spark 叢集中提供 H2O 功能

80+ DevOps 與資料 CLI 工具 - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 資料轉換器與驗證器 (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 等。

用於建構高效資料管線的 Python 框架。它促進了模組化與協作，能夠從簡單、可重複使用的元件建立複雜的管線。

Scriptis 用於互動式資料分析，包含指令碼開發（SQL、Pyspark、HiveQL）、工作提交（Spark、Hive）、UDF、函式、資源管理與智慧診斷。

具有漂亮錯誤訊息的 PySpark 測試輔助方法

提升開發者生產力的 pyspark 方法 📣 👯 🎉

為人類設計的 Pandas、Polars、Spark 與 Snowpark DataFrame 比較工具及更多功能

透過在 Docker 上建立帶有 JupyterLab 介面的叢集，學習 Scala、Python (PySpark) 和 R (SparkR) 的 Apache Spark。 :zap: