llm-training

Encontre segredos com o Gitleaks 🔑

Este projeto visa compartilhar princípios técnicos e experiências práticas relacionadas a grandes modelos de linguagem (engenharia de LLM, implementação de aplicações de LLM).

Framework low-code para criar LLMs personalizados, redes neurais e outros modelos de IA

A plataforma de computação de IA para equipes de fronteira. O SkyPilot transforma computação de IA fragmentada em um supercomputador de IA, permitindo que equipes de IA de fronteira construam inteligência personalizada mais rapidamente.

Kernels Triton eficientes para treinamento de LLM

Democratizando o Aprendizado por Reforço para LLMs.

H2O LLM Studio - um framework e interface gráfica no-code para ajuste fino de LLMs. Documentação: https://docs.h2o.ai/h2o-llmstudio/

OpenLake é um motor de armazenamento de alto desempenho para inferência eficiente de LLM e treinamento em GPU

verl-agent é uma extensão do veRL, projetada para treinar agentes LLM/VLM via RL. verl-agent é também o código oficial do artigo "Group-in-Group Policy Optimization for LLM Agent Training"

MoBA: Mixture of Block Attention para LLMs de contexto longo

DLRover: Um sistema de aprendizado profundo distribuído automático

Exportador de GPU Nvidia para Prometheus usando o binário nvidia-smi ou NVML

GraphGen: Aprimorando o ajuste fino supervisionado para LLMs com geração de dados sintéticos orientada por conhecimento

Byted PyTorch Distributed para treinamento em hiperescala de LLMs e RLs

O "AI-Compass" guiará a comunidade na navegação pelo oceano da tecnologia de IA; seja você um iniciante ou um desenvolvedor avançado, encontrará aqui o caminho para as principais direções da IA. O objetivo é ajudar os desenvolvedores a entender sistematicamente os conceitos principais de IA, tecnologias tradicionais, tendências de ponta e dominar todo o processo, da teoria à implementação prática, por meio da prática.

Adan: Algoritmo de Momento Nesterov Adaptativo para otimização mais rápida de modelos profundos.

Uma coleção curada de artigos, relatórios técnicos, frameworks e ferramentas para destilação on-policy (OPD) de grandes modelos de linguagem

Continual learning infra for self-improving agents

LLM-PowerHouse: Libere o potencial de LLMs por meio de tutoriais selecionados, melhores práticas e código pronto para uso para treinamento e inferência personalizados.

USP: Unified (também conhecido como Hybrid, 2D) Sequence Parallel Attention para treinamento e inferência de modelos Transformers de contexto longo

Coleção de artigos e projetos open source do ICLR ao longo dos anos, incluindo ICLR2021, ICLR2022, ICLR2023, ICLR2024 e ICLR2025.

Fine-tuning de LLM (Large Language Model)