rlhf

DPO, KTO, PPO, ORPO 및 기타 인간 맞춤형 손실 함수(HALO)의 확장 가능한 구현을 제공하는 라이브러리

OpenJudge: 종합적인 평가 및 품질 보상을 위한 통합 프레임워크

대형 언어 모델의 온폴리시 증류(OPD)를 위한 논문, 기술 보고서, 프레임워크 및 도구 모음

RewardBench: 보상 모델을 위한 최초의 평가 도구입니다.

Trinity-RFT는 거대 언어 모델(LLM)의 강화 미세 조정(RFT)을 위해 설계된 범용적이고 유연하며 확장 가능한 프레임워크입니다.

OAT: 강화 학습, 선호도 학습 등을 포함하는 LLM 온라인 정렬을 위한 연구 친화적 프레임워크

RLAnything (ICML 2026) 및 AutoTool (ICML 2026), DemyAgent: LLM 및 에이전트 시나리오를 위한 오픈소스 강화학습

LLM의 쉽고 효율적인 미세 조정 (Llama, Llama2, Llama3, Qwen, Baichuan, GLM, Falcon 지원). 대형 모델의 고효율 양자화 훈련 및 배포

대규모 전모달 사후 학습을 위한 비동기 강화 학습 엔진

Self-Play Preference Optimization (SPPO) 공식 구현체

Hugging Face transformers의 모든 생성 모델(bloomz-176B/bloom/gpt/bart/T5/MetaICL)에 ChatGPT RLHF(인간 피드백 기반 강화학습) 구현

온라인 RLHF 및 온라인 반복 DPO를 위한 레시피

대규모 언어 모델(LLM)을 위한 On-Policy Distillation 관련 논문 및 리소스 모음

[ICLR 2026] TraceRL 공식 코드: Diffusion LLM의 사후 학습을 혁신하고 SOTA TraDo 시리즈를 구동함.