multi-modality

[NeurIPS'23 Oral] Ajuste de instrucciones visuales (LLaVA) diseñado para alcanzar capacidades del nivel de GPT-4V y superiores.

:sparkles::sparkles: Últimos avances en modelos de lenguaje multimodal grandes

🏄 Incrustación, razonamiento y clasificación escalables para imágenes y oraciones con CLIP

MOSS-TTS-Nano es un modelo de generación de voz multilingüe pequeño y de código abierto de MOSI.AI y el equipo de OpenMOSS. Con solo 0.1B de parámetros, está diseñado para la generación de voz en tiempo real, puede ejecutarse directamente en la CPU sin GPU y mantiene la pila de implementación lo suficientemente simple para demostraciones locales, servicios web y la integración de productos ligeros.

🦦 Otter, un modelo multimodal basado en OpenFlamingo (versión de código abierto de Flamingo de DeepMind), entrenado en MIMIC-IT y que muestra una capacidad mejorada de seguimiento de instrucciones y aprendizaje en contexto.

InternLM-XComposer2.5-OmniLive: Un sistema multimodal completo para interacciones de video y audio en streaming de larga duración

Algoritmos y publicaciones sobre seguimiento de objetos en 3D

RAG sin análisis sintáctico (parsing) compatible con VLM

Long-RL: Escalado de RL a secuencias largas (NeurIPS 2025)

[CVPR 2025] MINIMA: Emparejamiento de imágenes invariante a la modalidad

¡Chatbot Arena se encuentra con la multimodalidad! Multi-Modality Arena te permite comparar modelos de visión-lenguaje lado a lado mientras proporcionas imágenes como entrada. ¡Soporta MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 y muchos más!