distributed-training

学习如何开发、部署并迭代生产级 ML 应用

最大規模的 PyTorch 影像編碼器/骨幹集合，包含訓練、評估、推論、匯出腳本與預訓練權重——ResNet、ResNeXT、EfficientNet、NFNet、Vision Transformer (ViT)、MobileNetV4、MobileNet-V3 & V2、RegNet、DPN、CSPNet、Swin Transformer、MaxViT、CoAtNet、ConvNeXt 等

Parallel Distributed Deep Learning：來自工業實踐的機器學習框架（『飛槳』核心框架，深度學習與機器學習高效能單機、分散式訓練與跨平台部署）

易於使用且功能強大的 LLM 與 SLM 函式庫，擁有精彩的模型倉庫

前沿團隊的 AI 計算平台。SkyPilot 將分散的 AI 計算整合為一台 AI 超級電腦，讓前沿 AI 團隊更快構建自訂智慧

建置、管理與部署 AI/ML 系統

讓大型語言模型的強化學習更普及

Fengshenbang-LM（封神榜大模型）是 IDEA 研究院認知計算與自然語言研究中心主導的大模型開源體系，成為中文 AIGC 與認知智能的基礎設施。

FEDML - 用於大規模分散式訓練、模型部署與聯邦學習的統一且具擴充性的機器學習函式庫。跨雲排程器 FEDML Launch 進一步支援在任何 GPU 雲端或地端叢集上執行任何 AI 任務。基於此函式庫建構的 TensorOpera AI (https://TensorOpera.ai) 是您的大規模生成式 AI 平台。

Determined 是一个开源机器学习平台，简化分布式训练、超参数调优、实验跟踪和资源管理。支持 PyTorch 和 TensorFlow。

基於 PyTorch 的去中心化深度學習。專為在世界各地數千名志願者的設備上訓練模型而建構。

DLRover：自動化分散式深度學習系統

具有多機訓練各種原語的集合通訊庫。

DeepRec 是基於 TensorFlow 的高效能推薦深度學習框架。它託管於 LF AI & Data Foundation 進行孵化。

高效深度學習系統課程教材

🌾 OAT：一個對研究友善的 LLM 線上對齊框架，包含強化學習、偏好學習等。

關於如何編寫分佈式 PyTorch 訓練程式碼的最佳實踐與指南

用於大規模全模態後訓練的非同步強化學習引擎。