multimodal-large-language-models

:sparkles::sparkles: Últimos avances en modelos de lenguaje multimodal grandes

Mobile-Agent: La potente familia de agentes GUI

StarVector es un modelo base para la generación de SVG que transforma la vectorización en una tarea de generación de código. Utilizando una arquitectura de modelado de visión y lenguaje, StarVector procesa entradas visuales y textuales para producir código SVG de alta calidad con notable precisión.

LLaMA-Omni es un modelo de interacción de voz de extremo a extremo de baja latencia y alta calidad construido sobre Llama-3.1-8B-Instruct, con el objetivo de lograr capacidades de voz al nivel de GPT-4o.

Un marco de estructuración de video (análisis de video) multiplataforma basado en modelos de CV y mLLM.

✨✨[NeurIPS 2025] VITA-1.5: Hacia la interacción de visión y habla en tiempo real a nivel de GPT-4o

mPLUG-DocOwl: Modelo de lenguaje grande multimodal modularizado para la comprensión de documentos

Cambrian-1 es una familia de LLM multimodales con un diseño centrado en la visión.

[ICML 2024] Dominando la difusión de texto a imagen: Recaptioning, planificación y generación con LLMs multimodales (RPG).

Seed1.5-VL, un modelo base de visión-lenguaje diseñado para avanzar en la comprensión y el razonamiento multimodal de propósito general, logrando un rendimiento de vanguardia en 38 de 60 puntos de referencia públicos.

Una novedosa arquitectura de modelo de lenguaje multimodal (MLLM) diseñada para alinear estructuralmente incrustaciones visuales y textuales.

Modelos multimodales unificados destacados.

Humano digital interactivo en tiempo real, con apariencia y voz personalizables, soporte para clonación de voz y una latencia de respuesta de hasta 3 segundos.

Implementación en PyTorch de Audio Flamingo: serie de modelos de lenguaje avanzados para la comprensión de audio

Un framework para procesamiento de voz, lenguaje, audio y música con modelos de lenguaje grandes

Una familia de modelos multimodales ligeros.

Razonamiento multimodal de cadena de pensamiento: un estudio exhaustivo

Una colección de recursos sobre aplicaciones de aprendizaje multimodal en imágenes médicas.

Serie NEO: modelos de visión-lenguaje nativos desde los principios fundamentales

✨✨[CVPR 2025] Video-MME: El primer benchmark de evaluación integral de LLMs multimodales en análisis de video

LLaVA-Plus: asistentes de lenguaje y visión a gran escala que se conectan y aprenden a usar habilidades

[CVPR 2024] MovieChat: De tokens densos a memoria dispersa para la comprensión de videos largos

Modelo de representación visual a gran escala

Proyecto personal: MPP-Qwen14B y MPP-Qwen-Next (paralelismo de tubería multimodal basado en Qwen-LM). Soporta [video/imagen/multi-imagen] {sft/conversaciones}. ¡No dejes que la pobreza limite tu imaginación! Entrena tu propio MLLM tipo LLaVA de 8B/14B en una RTX3090/4090 de 24GB.

OmniVinci es un LLM omnimodal para la comprensión conjunta de visión, audio y lenguaje.

✨✨Woodpecker: Corrección de alucinaciones para modelos de lenguaje grandes multimodales

(Aceptado por IJCV) Liquid: los modelos de lenguaje son generadores multimodales escalables y unificados.

Artículo de NeurIPS 2024: Un LLM de visión a nivel de píxel unificado para comprender, generar, segmentar y editar

LLaVA-Mini es un modelo multimodal grande (LMM) unificado que admite la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente.

Cambrian-S: Hacia la superpercepción espacial en video