rlhf

一个具有 DPO、KTO、PPO、ORPO 及其他人类意识损失函数（HALO）可扩展实现的库。

OpenJudge：用于全面评估与质量奖励的统一框架

大语言模型策略内蒸馏（OPD）的精选论文、技术报告、框架与工具集合

Aligning Large Language Models with Human: A Survey

RewardBench：奖励模型的第一个评估工具。

Trinity-RFT 是一个通用的、灵活且具备可扩展性的框架，专为大型语言模型 (LLM) 的强化微调 (RFT) 而设计。

🌾 OAT：一个对研究友好的 LLM 在线对齐框架，包含强化学习、偏好学习等。

RLAnything (ICML 2026) 与 AutoTool (ICML 2026)，DemyAgent：用于 LLM 与 Agent 场景的开源强化学习

简单且高效的 LLM 微调工具（支持 LLaMA、LLaMA2、LLaMA3、Qwen、Baichuan、GLM、Falcon），大模型高效量化训练与部署。

用于大规模全模态后训练的异步强化学习引擎。

自我博弈偏好优化 (SPPO) 的官方实现

在 huggingface transformer 的任何生成模型（blommz-176B/bloom/gpt/bart/T5/MetaICL）上实现 ChatGPT RLHF（人类反馈强化学习）。

在线 RLHF 与在线迭代式 DPO 的实现配方。

精选的大型语言模型 On-Policy 蒸馏论文与资源合集。

[ICLR 2026] TraceRL 官方代码：彻底改变扩散 LLM 的后训练流程，驱动 SOTA TraDo 系列。