uber/petastorm

Petastorm 库支持从 Apache Parquet 格式的数据集进行深度学习模型的单机或分布式训练与评估。它支持 TensorFlow、PyTorch 和 PySpark 等 ML 框架，并可直接从纯 Python 代码中使用。