rlhf

统一高效微调 100 多种 LLM 与 VLM（ACL 2024）

OpenAssistant 是一个聊天式助理，能理解任务、与第三方系统互动，并动态检索信息以完成任务

"A Survey of Large Language Models" 调查论文的官方 GitHub 页面

InternLM 系列正式发布（InternLM、InternLM2、InternLM2.5、InternLM3）

中文 LLaMA-2 与 Alpaca-2 大模型二期项目 + 64K 超长上下文模型

稳健的配方，将语言模型对齐人类与 AI 的偏好

OpenClaw-RL：仅通过对话即可训练任何代理

面向 AI 研究者的开源研究环境，支持从本地硬件到 GPU 集群无缝训练、评估和扩展模型。

从零开始在 PyTorch 中实现推理 LLM，逐步说明

Argilla 是一个协作工具，供 AI 工程师与领域专家构建高质量数据集

构建、评估与优化 AI 系统。包含评估、RAG、代理、微调、合成数据生成、数据集管理、MCP 等。

Align Anything：使用反馈训练全模态模型

一份经过精选的强化学习与人类反馈资源列表（持续更新）

🚀 一个开源、实作导向的课程，弥合基础 RL 概念与 LLM 对齐、RLVR 及进阶代理系统之间的差距

一个为你的数据提供医生的工具

Distilabel 是一个基于已验证研究论文的合成数据与 AI 反馈框架，专为需要快速、可靠且具扩展性流水线的工程师设计。

高效且用户友好的扩展学习库，支持大型语言模型的强化学习

PyTorch 的 LeetCode — 来自 Google、Meta、Anthropic 真实面试的 65 道 ML/AI 面试题。包含 Jupyter notebooks、自动评分器以及 MCP AI 家教。

人类反馈强化学习（RLHF）教科书

指令遵循语言模型的自动评估器。经人工验证、高质量、低成本且快速。

Agentic RL 精选列表

[NeurIPS 2023] ImageReward：学习与评估文本到图像生成的人类偏好

Safe RLHF：通过来自人类反馈的安全强化学习进行受约束的价值对齐

WebGLM：一个高效的网络增强问答系统 (KDD 2023)

用于训练 RLHF 奖励模型的示例与配方

大型语言模型中 RLHF 的秘密第一部分：PPO

Xtreme1 是一个用于多模态数据训练的一体化数据标注平台，支持 3D LiDAR 点云、图像和 LLM。

针对扩散与全能模型的多模态 RL 训练框架

[NeurIPS 2024] SimPO：基于无参照奖励的简单偏好优化

“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向，无论你是初学者还是进阶开发者，都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势，并通过实践掌握从理论到落地的全过程。