rlhf

Una biblioteca con implementaciones extensibles de DPO, KTO, PPO, ORPO y otras funciones de pérdida orientadas a humanos (HALOs).

OpenJudge: un marco unificado para la evaluación holística y recompensas de calidad.

Una colección curada de artículos, informes técnicos, marcos de trabajo y herramientas para la destilación on-policy (OPD) de modelos de lenguaje de gran tamaño.

RewardBench: la primera herramienta de evaluación para modelos de recompensa.

Trinity-RFT es un framework de propósito general, flexible y escalable, diseñado para el ajuste fino por refuerzo (RFT) de modelos de lenguaje de gran tamaño (LLM).

🌾 OAT: Un marco de trabajo amigable para la investigación de alineación en línea de LLM, que incluye aprendizaje por refuerzo, aprendizaje de preferencias, etc.

RLAnything (ICML 2026) y AutoTool (ICML 2026), DemyAgent: RL de código abierto para LLMs y escenarios de agentes

Ajuste fino (finetuning) fácil y eficiente para LLMs. (Compatible con LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon). Entrenamiento y despliegue eficiente de cuantización para grandes modelos.

Un motor de aprendizaje por refuerzo asíncrono para el post-entrenamiento omnimodal a gran escala.

La implementación oficial de Self-Play Preference Optimization (SPPO)

Implementación de RLHF (aprendizaje por refuerzo con retroalimentación humana) de ChatGPT en cualquier modelo generativo de los transformers de huggingface (blommz-176B/bloom/gpt/bart/T5/MetaICL).

Una receta para RLHF en línea y DPO iterativo en línea.

Una colección curada de artículos y recursos sobre destilación on-policy para modelos de lenguaje grandes.

[ICLR 2026] Código oficial para TraceRL: Revolucionando el post-entrenamiento para LLM de difusión, impulsando la serie SOTA TraDo.