uber/petastorm

Petastorm ライブラリを使用すると、Apache Parquet 形式のデータセットからディープラーニングモデルの単一マシンまたは分散トレーニングと評価を行うことができます。Tensorflow、Pytorch、PySpark などの ML フレームワークをサポートし、純粋な Python コードから使用できます。