distributed-training

学习如何开发、部署并迭代生产级 ML 应用

最大规模的 PyTorch 图像编码器/骨干集合，包含训练、评估、推理、导出脚本与预训练权重——ResNet、ResNeXT、EfficientNet、NFNet、Vision Transformer (ViT)、MobileNetV4、MobileNet-V3 & V2、RegNet、DPN、CSPNet、Swin Transformer、MaxViT、CoAtNet、ConvNeXt 等

Parallel Distributed Deep Learning：来自工业实践的机器学习框架（『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）

易于使用且功能强大的 LLM 与 SLM 库，拥有精彩的模型仓库

前沿团队的 AI 计算平台。SkyPilot 将分散的 AI 计算整合为一台 AI 超级计算机，让前沿 AI 团队更快构建定制智能

构建、管理与部署 AI/ML 系统

让大型语言模型的强化学习更普及

Fengshenbang-LM（封神榜大模型）是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，成为中文 AIGC 与认知智能的基础设施。

FEDML - 用于大规模分布式训练、模型部署与联邦学习的统一且具扩展性的机器学习库。跨云调度器 FEDML Launch 进一步支持在任何 GPU 云或本地集群上运行任何 AI 任务。基于此库构建的 TensorOpera AI (https://TensorOpera.ai) 是您的大规模生成式 AI 平台。

Determined 是一个开源机器学习平台，简化分布式训练、超参数调优、实验跟踪和资源管理。支持 PyTorch 和 TensorFlow。

基于 PyTorch 的去中心化深度学习。专为在世界各地数千名志愿者设备上训练模型而构建。

DLRover：自动化分布式深度学习系统

具有多机训练各种原语的集合通讯库。

DeepRec 是基于 TensorFlow 的高性能推荐深度学习框架。它托管于 LF AI & Data Foundation 进行孵化。

高效深度学习系统课程教材

🌾 OAT：一个对研究友好的 LLM 在线对齐框架，包含强化学习、偏好学习等。

关于如何编写分布式 PyTorch 训练代码的最佳实践与指南

用于大规模全模态后训练的异步强化学习引擎。