pyspark

可携式 Python dataframe 库

简单且分散式的机器学习 Python 函式库，将 ML 算法移植至 Spark。

前沿自然语言处理

Apache Linkis 建立计算中介层，促进上层应用与底层数据引擎之间的连接、治理与编排

以 Rust 编写的 Apache Spark 无缝替代方案，统一了批处理、流处理和计算密集型 AI 工作负载。

精选的 Apache Spark 套件与资源列表。

Petastorm 库支持从 Apache Parquet 格式的数据集进行深度学习模型的单机或分布式训练与评估。它支持 TensorFlow、PyTorch 和 PySpark 等 ML 框架，并可直接从纯 Python 代码中使用。

dataframe 库之间轻量且可扩展的兼容层！

作为 IPython / Jupyter 笔记本的大数据分析与机器学习 Apache Spark & Python (pySpark) 教程

:truck: 通过 Pandas、Dask、cuDF、Dask-cuDF、Vaex 和 PySpark 轻松实现敏捷数据准备工作流程。

用于操作远程 Spark 集群的 Jupyter magics 与 kernels

Hopsworks - 具备特征存储库的数据密集型 AI 平台

PySpark-Tutorial 提供使用 PySpark 的基础算法

GraphFrames 是一个为 Apache Spark 提供基于 DataFrame 的图（Graph）包。

数据算法书籍的 MapReduce、Spark、Java 与 Scala 实现

Sparkling Water 在 Spark 集群中提供 H2O 功能

80+ DevOps 与数据 CLI 工具 - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark 数据转换器与验证器 (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr 等。

用于构建高效数据管道的 Python 框架。它促进了模块化与协作，能够从简单、可重复使用的组件创建复杂的管道。

Scriptis 用于交互式数据分析，包含脚本开发（SQL、Pyspark、HiveQL）、工作提交（Spark、Hive）、UDF、函数、资源管理与智能诊断。

具有漂亮错误信息的 PySpark 测试辅助方法

提升开发者生产力的 pyspark 方法 📣 👯 🎉

为人类设计的 Pandas、Polars、Spark 与 Snowpark DataFrame 比较工具及更多功能

通过在 Docker 上建立带有 JupyterLab 界面的集群，学习 Scala、Python (PySpark) 和 R (SparkR) 的 Apache Spark。 :zap: