rlhf

一個具有 DPO、KTO、PPO、ORPO 及其他人類意識損失函數（HALO）可擴充實作的程式庫。

OpenJudge：用於全面評估與品質獎勵的統一框架

大型語言模型策略內蒸餾（OPD）的精選論文、技術報告、框架與工具集合

Aligning Large Language Models with Human: A Survey

RewardBench：獎勵模型的第一個評估工具。

Trinity-RFT 是一個通用的、靈活且具備可擴展性的框架，專為大型語言模型 (LLM) 的強化微調 (RFT) 而設計。

🌾 OAT：一個對研究友善的 LLM 線上對齊框架，包含強化學習、偏好學習等。

RLAnything (ICML 2026) 與 AutoTool (ICML 2026)，DemyAgent：用於 LLM 與 Agent 場景的開源強化學習

簡單且高效的 LLM 微調工具（支援 LLaMA、LLaMA2、LLaMA3、Qwen、Baichuan、GLM、Falcon），大模型高效量化訓練與部署。

用於大規模全模態後訓練的非同步強化學習引擎。

自我博弈偏好最佳化 (SPPO) 的官方實作

在 huggingface transformer 的任何生成模型（blommz-176B/bloom/gpt/bart/T5/MetaICL）上實作 ChatGPT RLHF（人類回饋強化學習）。

線上 RLHF 與線上迭代式 DPO 的實作配方。

精選的大型語言模型 On-Policy 蒸餾論文與資源合集。

[ICLR 2026] TraceRL 官方程式碼：徹底改變擴散 LLM 的後訓練流程，驅動 SOTA TraDo 系列。