rlhf

統一高效微調 100 多種 LLM 與 VLM（ACL 2024）

OpenAssistant 是一個聊天式助理，能理解任務、與第三方系統互動，並動態檢索資訊以完成任務

"A Survey of Large Language Models" 调查论文的官方 GitHub 页面

InternLM 系列正式發布（InternLM、InternLM2、InternLM2.5、InternLM3）

中文 LLaMA-2 與 Alpaca-2 大模型二期專案 + 64K 超長上下文模型

穩健的配方，將語言模型對齊人類與 AI 的偏好

OpenClaw-RL：僅通過對話即可訓練任何代理

面向 AI 研究者的开源研究环境，支持从本地硬件到 GPU 集群无缝训练、评估和扩展模型。

從零開始在 PyTorch 中實現推理 LLM，逐步說明

Argilla 是一個協作工具，供 AI 工程師與領域專家構建高品質資料集

構建、評估與優化 AI 系統。包含評估、RAG、代理、微調、合成數據生成、資料集管理、MCP 等。

Align Anything：使用回饋訓練全模態模型

一份經過精選的強化學習與人類反饋資源列表（持續更新）

🚀 一個開源、實作導向的課程，彌合基礎 RL 概念與 LLM 對齊、RLVR 及進階代理系統之間的差距

一個為你的數據提供醫生的工具

Distilabel 是一個基於已驗證研究論文的合成數據與 AI 回饋框架，專為需要快速、可靠且具擴充性管線的工程師設計。

高效且使用者友善的擴充學習庫，支援大型語言模型的強化學習

PyTorch 的 LeetCode — 來自 Google、Meta、Anthropic 真實面試的 65 道 ML/AI 面試題。包含 Jupyter notebooks、自動評分器以及 MCP AI 家教。

人類回饋強化學習（RLHF）教科書

指令遵循語言模型的自動評估器。經人工驗證、高品質、低成本且快速。

Agentic RL 精選清單

[NeurIPS 2023] ImageReward：學習與評估文字轉圖像生成的人類偏好

Safe RLHF：透過來自人類回饋的安全強化學習進行受約束的價值對齊

WebGLM：一個高效的網路增強問答系統 (KDD 2023)

用於訓練 RLHF 獎勵模型的範例與食譜

大型語言模型中 RLHF 的祕密第一部：PPO

Xtreme1 是一個用於多模態資料訓練的整合式資料標註與註解平台，支援 3D LiDAR 點雲、影像和 LLM。

[NeurIPS 2024] SimPO：基於無參照獎勵的簡單偏好最佳化

針對擴散與全能模型的多模態 RL 訓練框架

「AI-Compass」將為社群指引在 AI 技術海洋中航行的方向，無論你是初學者還是進階開發者，都能在這裡找到通往 AI 各大方向的路徑。旨在幫助開發者系統性地了解 AI 的核心概念、主流技術、前沿趨勢，並透過實踐掌握從理論到落地的全過程。