llm-training

Détectez les secrets avec Gitleaks 🔑

Ce projet vise à partager les principes techniques et l'expérience pratique liés aux grands modèles de langage (ingénierie et déploiement d'applications).

Framework low-code pour construire des LLM personnalisés, des réseaux de neurones et d'autres modèles d'IA.

Plateforme de calcul IA pour les équipes de pointe. SkyPilot transforme les ressources de calcul fragmentées en un supercalculateur IA unique, permettant aux équipes de développer plus rapidement leur propre intelligence artificielle.

Kernels Triton efficaces pour l'entraînement de LLM

Démocratiser l'apprentissage par renforcement pour les LLM

H2O LLM Studio - un framework et une interface graphique sans code pour le fine-tuning de LLM.

OpenLake est un moteur de stockage haute performance pour l'inférence LLM et l'entraînement GPU efficaces

verl-agent est une extension de veRL conçue pour l'entraînement d'agents LLM/VLM par apprentissage par renforcement. verl-agent est également le code officiel de l'article "Group-in-Group Policy Optimization for LLM Agent Training".

MoBA : Mixture of Block Attention pour les LLM à long contexte

DLRover : un système d'apprentissage profond distribué automatique

Exportateur GPU Nvidia pour Prometheus utilisant le binaire nvidia-smi ou NVML.

GraphGen : Amélioration du fine-tuning supervisé pour les LLM grâce à la génération de données synthétiques basées sur les connaissances

Byted PyTorch Distributed pour l'entraînement à très grande échelle de LLM et RL

AI-Compass guide la communauté à travers l'océan des technologies IA, offrant des parcours pour les débutants comme pour les développeurs avancés. Il vise à aider les développeurs à comprendre systématiquement les concepts fondamentaux, les technologies dominantes et les tendances de l'IA, tout en maîtrisant le passage de la théorie à la pratique.

Adan : Algorithme de momentum de Nesterov adaptatif pour une optimisation plus rapide des modèles profonds.

Collection organisée d'articles, de rapports techniques, de frameworks et d'outils pour la distillation on-policy (OPD) des grands modèles de langage

LLM-PowerHouse : Libérez le potentiel des LLM grâce à des tutoriels sélectionnés, des meilleures pratiques et du code prêt à l'emploi pour l'entraînement et l'inférence personnalisés.

USP : Parallélisme de séquence unifié (hybride, 2D) pour l'entraînement et l'inférence de modèles Transformers à long contexte

Collection de papiers et de projets open source de l'ICLR au fil des ans, incluant ICLR 2021, ICLR 2022, ICLR 2023, ICLR 2024 et ICLR 2025.

Fine-tuning de LLM (Large Language Model)

Continual learning infra for self-improving agents