huggingface/accelerate

🚀 Một cách đơn giản để khởi chạy, huấn luyện và sử dụng các mô hình PyTorch trên hầu hết mọi thiết bị và cấu hình phân tán, hỗ trợ độ chính xác hỗn hợp tự động (bao gồm fp8), cùng với hỗ trợ FSDP và DeepSpeed dễ cấu hình