llm-training

Encuentra secretos con Gitleaks 🔑

Este proyecto tiene como objetivo compartir principios tecnológicos y experiencias prácticas relacionados con modelos grandes (ingeniería de LLM, implementación de aplicaciones de LLM).

Framework de código bajo para construir LLMs personalizados, redes neuronales y otros modelos de IA

La plataforma de computación de IA para equipos de vanguardia. SkyPilot convierte la computación de IA fragmentada en una supercomputadora de IA, permitiendo a los equipos de IA de vanguardia construir inteligencia personalizada más rápido.

Kernels de Triton eficientes para entrenamiento de LLM

Democratizando el aprendizaje por refuerzo para LLMs

H2O LLM Studio: un framework y GUI sin código para el ajuste fino de LLMs. Documentación: https://docs.h2o.ai/h2o-llmstudio/

OpenLake es un motor de almacenamiento de alto rendimiento para inferencia de LLM y entrenamiento de GPU eficientes

verl-agent es una extensión de veRL, diseñada para entrenar agentes LLM/VLM mediante RL. verl-agent es también el código oficial del artículo "Group-in-Group Policy Optimization for LLM Agent Training".

MoBA: Mixture of Block Attention para LLMs de contexto largo

DLRover: un sistema de aprendizaje profundo distribuido y automático.

Exportador de GPU Nvidia para Prometheus usando el binario nvidia-smi o NVML

GraphGen: mejora del ajuste fino supervisado para LLMs mediante la generación de datos sintéticos basados en conocimiento

Byted PyTorch Distributed para el entrenamiento a hiperescala de LLM y RL.

AI-Compass guía a la comunidad a través del océano de la tecnología de IA, ofreciendo rutas para principiantes y desarrolladores avanzados. Su objetivo es ayudar a los desarrolladores a comprender sistemáticamente los conceptos centrales, las tecnologías principales y las tendencias de vanguardia de la IA, dominando el proceso desde la teoría hasta la implementación práctica.

Adan: Algoritmo de momento de Nesterov adaptativo para una optimización más rápida de modelos profundos.

Una colección curada de artículos, informes técnicos, marcos de trabajo y herramientas para la destilación on-policy (OPD) de modelos de lenguaje de gran tamaño.

LLM-PowerHouse: Libere el potencial de los LLM a través de tutoriales seleccionados, mejores prácticas y código listo para usar para entrenamiento e inferencia personalizados.

USP: Atención paralela de secuencia unificada (híbrida, 2D) para entrenamiento e inferencia de modelos Transformers de contexto largo

Colección de artículos y proyectos de código abierto de ICLR de años anteriores, incluyendo ICLR2021, ICLR2022, ICLR2023, ICLR2024 e ICLR2025.

Ajuste fino de LLM (Modelos de Lenguaje Grande)

Continual learning infra for self-improving agents