distributed-training

프로덕션 수준의 ML 애플리케이션을 개발, 배포 및 반복 개선하는 방법을 배웁니다.

가장 방대한 PyTorch 이미지 인코더/백본 컬렉션. 학습, 평가, 추론, 내보내기 스크립트 및 사전 학습된 가중치 포함 — ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 & V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt 등

PArallel Distributed Deep LEarning: 산업 현장에서 온 Machine Learning Framework (飞桨 핵심 프레임워크, 고성능 단일/분산 딥러닝 및 머신러닝 학습과 크로스 플랫폼 배포 지원)

멋정한 모델 주를 제공하는 사용하기 쉽고 강력한 LLM 및 SLM 라이브러리입니다.

프론티어 팀을 위한 AI 연산 플랫폼입니다. SkyPilot은 분산된 AI 연산을 하나의 AI 슈퍼컴퓨터로 통합하여, 프론티어 AI 팀이 맞춤형 인공지능을 더 빠르게 구축할 수 있도록 지원합니다.

AI/ML 시스템 구축, 관리 및 배포

LLM을 위한 강화 학습의 대중화

Fengshenbang-LM(봉신방 대형 모델)은 IDEA 연구원 인지 컴퓨팅 및 자연어 연구 센터가 주도하는 오픈소스 대형 모델 생태계로, 중국어 AIGC 및 인지 지능의 인프라 역할을 합니다.

대규모 분산 학습, 모델 서빙, 연합 학습을 위한 통합 및 확장 가능한 ML 라이브러리인 FEDML. 크로스 클라우드 스케줄러인 FEDML Launch를 통해 모든 GPU 클라우드나 온프레미스 클러스터에서 AI 작업을 실행할 수 있습니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.

분산 학습, 하이퍼파라미터 튜닝, 실험 추적, 리소스 관리를 단순화하는 오픈소스 머신러닝 플랫폼. PyTorch 및 TensorFlow 지원

PyTorch 기반의 탈중앙화 딥러닝. 전 세계 수천 명의 자원봉사자 참여자를 바탕으로 모델을 학습하도록 구축되었습니다.

DLRover: 자동 분산 딥러닝 시스템

다중 머신 학습을 위한 다양한 프리미티브를 갖춘 집합 통신 라이브러리

DeepRec은 TensorFlow 기반의 고성능 추천 딥러닝 프레임워크입니다. LF AI & Data Foundation의 인큐베이션 프로젝트입니다.

효율적인 딥러닝 시스템 강의 자료

OAT: 강화 학습, 선호도 학습 등을 포함하는 LLM 온라인 정렬을 위한 연구 친화적 프레임워크

분산 PyTorch 학습 코드 작성을 위한 모범 사례 및 가이드

대규모 전모달 사후 학습을 위한 비동기 강화 학습 엔진