huggingface/accelerate

🚀 ほぼあらゆるデバイスや分散設定で PyTorch モデルを起動、トレーニング、利用するための簡単な方法。自動混合精度（fp8を含む）と、設定が容易な FSDP および DeepSpeed のサポートを提供。