llm-training

使用 Gitleaks 查找机密信息 🔑

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

低代码框架，用于构建自定义大型语言模型、神经网络及其他 AI 模型

前沿团队的 AI 计算平台。SkyPilot 将分散的 AI 计算整合为一台 AI 超级计算机，让前沿 AI 团队更快构建定制智能

用于 LLM 训练的高效 Triton 核心

让大型语言模型的强化学习更普及

H2O LLM Studio——一个用于微调 LLM 的框架与无代码 GUI。文档：https://docs.h2o.ai/h2o-llmstudio/

OpenLake 是一个高性能存储引擎，用于高效的 LLM 推理和 GPU 训练

verl-agent 是 veRL 的扩展，专为通过强化学习 (RL) 训练 LLM/VLM Agent 所设计。verl-agent 也是论文 "Group-in-Group Policy Optimization for LLM Agent Training" 的官方代码。

MoBA：长文本 LLM 的区块注意力混合模型

DLRover：自动化分布式深度学习系统

使用 nvidia-smi 二进制文件或 NVML 的 Prometheus Nvidia GPU 导出器

GraphGen：通过知识驱动的合成数据生成增强大语言模型的监督微调

字节跳动 PyTorch 分布式框架，用于 LLM 与 RL 的超大规模训练

“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向，无论你是初学者还是进阶开发者，都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势，并通过实践掌握从理论到落地的全过程。

Adan：用于加速优化深度模型的自适应 Nesterov 动量算法

大语言模型策略内蒸馏（OPD）的精选论文、技术报告、框架与工具集合

Continual learning infra for self-improving agents

LLM-PowerHouse：透过精选教学、最佳实践以及可用于自定义训练与推理的即用代码，释放 LLM 的潜力。

USP：用于长文本 Transformers 模型训练与推理的统一（亦称混合、2D）序列并行注意力机制

历年 ICLR 论文与开源项目合集，包含 ICLR2021、ICLR2022、ICLR2023、ICLR2024、ICLR2025。

LLM (大型语言模型) 微调