rlhf

Thư viện cung cấp các cài đặt mở rộng cho DPO, KTO, PPO, ORPO và các hàm mất mát nhận thức con người (HALOs) khác.

OpenJudge: Một khung thống nhất để đánh giá toàn diện và khen thưởng chất lượng

Bộ sưu tập các bài báo, báo cáo kỹ thuật, khung làm việc và công cụ được tuyển chọn cho việc chưng cất theo chính sách (OPD) của các mô hình ngôn ngữ lớn

RewardBench: công cụ đánh giá đầu tiên cho các mô hình phần thưởng.

Trinity-RFT là một framework đa năng, linh hoạt và có khả năng mở rộng, được thiết kế để tinh chỉnh tăng cường (RFT) các mô hình ngôn ngữ lớn (LLM).

🌾 OAT: Khung nghiên cứu thân thiện cho việc căn chỉnh trực tuyến LLM, bao gồm học tăng cường, học ưu tiên, v.v.

RLAnything (ICML 2026) & AutoTool (ICML 2026), DemyAgent: RL mã nguồn mở cho LLM và các kịch bản tác nhân.

Tinh chỉnh LLM dễ dàng và hiệu quả (Hỗ trợ LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon)

Một công cụ học tăng cường bất đồng bộ cho đào tạo hậu kỳ đa phương thức ở quy mô lớn

Triển khai chính thức của Self-Play Preference Optimization (SPPO).

Triển khai RLHF (Học tăng cường từ phản hồi của con người) của ChatGPT trên bất kỳ mô hình tạo nào trong thư viện transformer của Hugging Face (blommz-176B/bloom/gpt/bart/T5/MetaICL).

Công thức cho RLHF trực tuyến và DPO lặp lại trực tuyến.

Bộ sưu tập các bài báo và tài nguyên được tuyển chọn về On-Policy Distillation cho các mô hình ngôn ngữ lớn.

[ICLR 2026] Mã nguồn chính thức cho TraceRL: Cách mạng hóa quá trình hậu huấn luyện cho Diffusion LLM, hỗ trợ dòng TraDo SOTA.