mllm

Preentrenamiento autosupervisado a gran escala en múltiples tareas, idiomas y modalidades

Agent S: un framework agéntico abierto que utiliza computadoras como un humano

Mobile-Agent: La potente familia de agentes GUI

[NeurIPS 2025] SpatialLM: Entrenamiento de modelos de lenguaje grandes para modelado interior estructurado

[CVPR'25] Implementaciones oficiales para el artículo MagicQuill: Un sistema inteligente e interactivo de edición de imágenes.

Desde el prompting de Cadena de Pensamiento (Chain-of-Thought) hasta OpenAI o1 y DeepSeek-R1 🍓

Código y modelos para el artículo de ICML 2024, NExT-GPT: Modelo de Lenguaje Grande Multimodal de Cualquier-a-Cualquier

Eagle: Modelos de lenguaje y visión de vanguardia con estrategias centradas en datos

InternLM-XComposer2.5-OmniLive: Un sistema multimodal completo para interacciones de video y audio en streaming de larga duración

mPLUG-DocOwl: Modelo de lenguaje grande multimodal modularizado para la comprensión de documentos

Cambrian-1 es una familia de LLM multimodales con un diseño centrado en la visión.

🚀🚀🚀 Una colección de increíbles proyectos públicos de la serie de detección de objetos YOLO y conjuntos de datos relacionados.

Repositorio oficial para el código base de Pixel-LLM: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1.ª solución para LSVOS)

[CVPR2026] Detectar cualquier cosa mediante la predicción del siguiente punto.

Catálogo visual curado de más de 155 arquitecturas de modelos de visión-lenguaje (VLM/MLLM): artículos, diagramas, recetas de entrenamiento, conjuntos de datos y una línea de tiempo de lanzamiento para agentes de IA multimodal.

Framework totalmente abierto para el entrenamiento multimodal democratizado.

Una familia de modelos multimodales ligeros.

OpenEMMA, una "reproducción" de código abierto con licencia permisiva del modelo EMMA de Waymo.

Serie NEO: modelos de visión-lenguaje nativos desde los principios fundamentales

[NeurIPS' 2025] JarvisArt: Liberación de la creatividad artística humana mediante un agente inteligente de retoque fotográfico

[CVPR2024] Código para "Osprey: Pixel Understanding with Visual Instruction Tuning".

[NeurIPS 2025 spotlight] Implementación oficial de "FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving".

[NeurIPS 2025] 4KAgent: Agente para superresolución 4K de cualquier imagen. Un agente inteligente de visión artificial capaz de restaurar mágicamente cualquier imagen a una calidad 4K perfecta.

Una colección de proyectos públicos sobre modelos de lenguaje extensos (LLM), modelos de lenguaje visual (VLM), acción de lenguaje visual (VLA), contenido generado por IA (AIGC), y sus conjuntos de datos y aplicaciones relacionados.

Repositorio con una lista de artículos sobre la generación y aplicación de grafos de escena.

Proyecto personal: MPP-Qwen14B y MPP-Qwen-Next (paralelismo de tubería multimodal basado en Qwen-LM). Soporta [video/imagen/multi-imagen] {sft/conversaciones}. ¡No dejes que la pobreza limite tu imaginación! Entrena tu propio MLLM tipo LLaVA de 8B/14B en una RTX3090/4090 de 24GB.

Visión como generación multimodal unificada.

✨✨Woodpecker: Corrección de alucinaciones para modelos de lenguaje grandes multimodales

[ICLR 2025] FakeShield: Detección y localización explicable de falsificación de imágenes mediante modelos de lenguaje grandes multimodales

Emotion-LLaMA: Reconocimiento y razonamiento de emociones multimodal con ajuste de instrucciones