multimodal

Kit de herramientas visuales y habilidades diseñadas para modelos de solo texto para "ver" imágenes, compatible con comprensión de múltiples imágenes, preguntas y respuestas sobre imágenes, restauración de UI frontend, automatización de GUI, con integración opcional y fluida a múltiples agentes principales, reconocimiento directo de imágenes pegadas

El sistema de autocodificación para su aplicación: Alan AI SDK para Cordova.

SGLang-Omni permite un servicio de alto rendimiento para modelos de TTS, ASR, voz y modelos omni.

MOVA: Hacia la generación de video y audio escalable y sincronizada

Base de código para Aria, un MoE nativo multimodal abierto.

🩺 El primer modelo médico multimodal en chino capaz de analizar radiografías de tórax | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.

Ojos para agentes de DeepSeek Harness solo de texto: cadena de visión gratuita integrada (sin clave) + herramientas de visión a nivel de píxel (Q&A, grounding, recorte, diferencia de píxeles, colores, OCR, trazado SVG, recortes, capturas de pantalla). Instalación con un comando, sin Python, los turnos de imagen funcionan como turnos ordinarios de llamada a herramientas.

[ICLR'24 spotlight] Serie de modelos multimodales grandes en chino e inglés (Chat y Paint) | Basado en la serie de modelos multimodales grandes bilingües chino-inglés CPM

Un modelo de representación general para modalidades de visión, audio y lenguaje. Artículo: ONE-PEACE: Explorando un modelo de representación general hacia modalidades ilimitadas.

[Candidato a mejor artículo en ECCV 2024 y TPAMI 2025] PointLLM: Potenciando a los modelos de lenguaje extenso para comprender nubes de puntos.

Una implementación oficial de "CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval"

Razonamiento multimodal de cadena de pensamiento: un estudio exhaustivo

TongFlow — Estudio de IA generativa multimodal

Recursos, ejemplos y tutoriales para IA multimodal, RAG y agentes que utilizan búsqueda vectorial y LLM.

Framework de entrenamiento de aprendizaje por refuerzo multimodal para modelos de difusión y omnimodales

RAG Time: Un viaje de aprendizaje de 5 semanas para dominar RAG

Este repositorio es una colección curada de los artículos más interesantes e influyentes de CVPR 2025. 🔥 [Artículo + Código + Demo]

Serie NEO: modelos de visión-lenguaje nativos desde los principios fundamentales

Código para "AnyGPT: LLM multimodal unificado con modelado de secuencia discreta"

Solucionador de captchas compatible con YesCaptcha, autohospedable y construido con FastAPI, Playwright y modelos multimodales compatibles con OpenAI.

Un motor de entrenamiento multimodal simple y unificado. Ligero, flexible y diseñado para hackear a gran escala.

[TMLR 2025🔥] Un estudio sobre modelos autorregresivos en visión artificial.

Biblioteca que soporta investigación en NLP y CV sobre artículos científicos

Entrenamiento de modelos de forma contrastiva en Pytorch

Monitoreo local + visión por IA: marco de monitoreo de IA basado en LAN mediante smartphones, con salida de eventos estructurada para la adquisición y análisis de datos.

Lista de artículos sobre modelos multimodales y de lenguaje de gran escala, utilizada para registrar las lecturas diarias de arxiv para uso personal.

[ECCV 2024] InstructIR: Restauración de imágenes de alta calidad siguiendo instrucciones humanas https://huggingface.co/spaces/marcosv/InstructIR

Paddle Multimodal Integration and eXploration, que soporta tareas multimodales convencionales, incluyendo modelos de preentrenamiento multimodal a gran escala de extremo a extremo y un conjunto de herramientas de modelos de difusión. Equipado con alto rendimiento y flexibilidad.

Una caja de herramientas para recomendación multimodal. Integra más de 10 modelos.

Este repositorio contiene el código para "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] y "MMEB-V3" [COLM 2026].