distributed-training

Aprenda a desenvolver, implantar e iterar em aplicações de ML de nível de produção.

A maior coleção de codificadores de imagem / backbones para PyTorch. Inclui scripts de treino, avaliação, inferência, exportação e pesos pré-treinados -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 & V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt e muito mais

PArallel Distributed Deep LEarning: Framework de aprendizado de máquina baseado em práticas industriais (Framework principal do PaddlePaddle, para treinamento distribuído/local de alto desempenho e implantação multiplataforma).

Biblioteca de LLM e SLM poderosa e fácil de usar, com um excelente conjunto de modelos.

A plataforma de computação de IA para equipes de fronteira. O SkyPilot transforma computação de IA fragmentada em um supercomputador de IA, permitindo que equipes de IA de fronteira construam inteligência personalizada mais rapidamente.

Construa, gerencie e implante sistemas de IA/ML

Democratizando o Aprendizado por Reforço para LLMs.

Fengshenbang-LM é um sistema de modelos de linguagem de grande escala de código aberto liderado pelo Centro de Pesquisa em Computação Cognitiva e Processamento de Linguagem Natural do IDEA, servindo como infraestrutura para AIGC e inteligência cognitiva em chinês.

FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelos e aprendizado federado. O FEDML Launch, um agendador cross-cloud, permite executar qualquer trabalho de IA em qualquer nuvem de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é sua plataforma de IA generativa em escala.

Determined é uma plataforma de aprendizado de máquina de código aberto que simplifica o treinamento distribuído, o ajuste de hiperparâmetros, o rastreamento de experimentos e o gerenciamento de recursos. Funciona com PyTorch e TensorFlow.

Deep learning descentralizado em PyTorch. Criado para treinar modelos em milhares de voluntários ao redor do mundo.

DLRover: Um sistema de aprendizado profundo distribuído automático

Biblioteca de comunicações coletivas com várias primitivas para treinamento em múltiplas máquinas.

DeepRec é um framework de deep learning para recomendação de alto desempenho baseado em TensorFlow. Está hospedado em incubação na LF AI & Data Foundation.

Materiais do curso de Sistemas de Deep Learning Eficientes

🌾 OAT: Uma estrutura amigável para pesquisa de alinhamento online de LLMs, incluindo aprendizado por reforço, aprendizado por preferência, etc.

Melhores práticas e guias sobre como escrever código de treinamento distribuído em PyTorch

Um Motor de Aprendizado por Reforço Assíncrono para Pós-Treinamento Omni-Modal em Escala