llm-training

使用 Gitleaks 尋找機密資訊 🔑

本項目旨在分享大模型相關技術原理以及實戰經驗（大模型工程化、大模型應用落地）

低程式碼框架，用於構建自訂大型語言模型、神經網路及其他 AI 模型

前沿團隊的 AI 計算平台。SkyPilot 將分散的 AI 計算整合為一台 AI 超級電腦，讓前沿 AI 團隊更快構建自訂智慧

用於 LLM 訓練的高效 Triton 核心

讓大型語言模型的強化學習更普及

H2O LLM Studio——一個用於微調 LLM 的框架與無代碼 GUI。文件：https://docs.h2o.ai/h2o-llmstudio/

OpenLake 是一個高效能儲存引擎，用於實現高效的 LLM 推論與 GPU 訓練

verl-agent 是 veRL 的擴充套件，專為透過強化學習 (RL) 訓練 LLM/VLM Agent 所設計。verl-agent 也是論文 "Group-in-Group Policy Optimization for LLM Agent Training" 的官方程式碼。

MoBA：長文本 LLM 的區塊注意力混合模型

DLRover：自動化分散式深度學習系統

使用 nvidia-smi 二進位檔或 NVML 的 Prometheus Nvidia GPU 匯出器

GraphGen：透過知識驅動的合成資料生成增強大型語言模型的監督微調

字節跳動 PyTorch 分散式框架，用於 LLM 與 RL 的超大規模訓練

「AI-Compass」將為社群指引在 AI 技術海洋中航行的方向，無論你是初學者還是進階開發者，都能在這裡找到通往 AI 各大方向的路徑。旨在幫助開發者系統性地了解 AI 的核心概念、主流技術、前沿趨勢，並透過實踐掌握從理論到落地的全過程。

Adan：用於加速優化深度模型的自適應 Nesterov 動量演算法

大型語言模型策略內蒸餾（OPD）的精選論文、技術報告、框架與工具集合

Continual learning infra for self-improving agents

LLM-PowerHouse：透過精選教學、最佳實踐以及可用於自訂訓練與推論的即用程式碼，釋放 LLM 的潛力。

USP：用於長文本 Transformers 模型訓練與推論的統一（亦稱混合、2D）序列平行注意力機制

歷年 ICLR 論文與開源專案合集，包含 ICLR2021、ICLR2022、ICLR2023、ICLR2024、ICLR2025。

LLM (大型語言模型) 微調