luigi

Luigiは、バッチジョブの複雑なパイプラインを構築するのに役立つPythonモジュールです。依存関係の解決、ワークフロー管理、可視化などを処理します。Hadoopサポートも組み込まれています。