rlhf

DPO、KTO、PPO、ORPO、およびその他のヒューマンアウェア損失関数（HALO）の拡張可能な実装を提供するライブラリ

OpenJudge: 総合評価と品質報酬のための統一フレームワーク

大規模言語モデルのオンポリシー蒸留（OPD）に関する論文、テクニカルレポート、フレームワーク、ツールの厳選コレクション。

RewardBench: 報酬モデルのための初の評価ツール

Trinity-RFT は、大規模言語モデル（LLM）の強化学習微調整（RFT）向けに設計された、汎用的で柔軟かつスケーラブルなフレームワークです。

🌾 OAT：強化学習や好みの学習などを含む、LLMオンラインアライメント向けの研究しやすいフレームワーク。

RLAnything (ICML 2026) & AutoTool (ICML 2026)、DemyAgent: LLM およびエージェントシナリオ向けのオープンソース RL

LLM の簡単かつ効率的なファインチューニング。（Llama、Llama2、Llama3、Qwen、Baichuan、GLM、Falcon をサポート）大模型高效量化训练+部署。

大規模オムニモーダル事後学習のための非同期強化学習エンジン

Self-Play Preference Optimization (SPPO) の公式実装

Hugging Face の transformer 内の任意の生成モデル（bloomz-176B/bloom/gpt/bart/T5/MetaICL）における ChatGPT RLHF（人間フィードバックによる強化学習）の実装

オンラインRLHFおよびオンライン反復DPOのためのレシピ。

大規模言語モデルのオンポリシー蒸留に関する論文とリソースの厳選されたコレクション

[ICLR 2026] TraceRLの公式コード：Diffusion LLMのポストトレーニングを革新し、SOTAのTraDoシリーズを駆動する