vision-language-model

Implementación de Prismer: un modelo de lenguaje y visión con expertos multitarea

Framework totalmente abierto para el entrenamiento multimodal democratizado.

Esta serie te guiará desde los fundamentos de la PNL y la visión por computadora hasta la vanguardia de los modelos de visión y lenguaje.

Convierte documentos en Markdown listo para IA con comprensión visual.

Kit de herramientas visuales y habilidades diseñadas para modelos de solo texto para "ver" imágenes, compatible con comprensión de múltiples imágenes, preguntas y respuestas sobre imágenes, restauración de UI frontend, automatización de GUI, con integración opcional y fluida a múltiples agentes principales, reconocimiento directo de imágenes pegadas

RAG sin análisis sintáctico (parsing) compatible con VLM

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM), el primer modelo de su clase capaz de generar respuestas en lenguaje natural integradas perfectamente con máscaras de segmentación de objetos.

[CVPR 2024 Highlight🔥] Chat-UniVi: La representación visual unificada potencia a los modelos de lenguaje grandes con comprensión de imágenes y videos

Este repositorio es una colección curada de los artículos más interesantes e influyentes de CVPR 2025. 🔥 [Artículo + Código + Demo]

[CVPR 2024] Alpha-CLIP: un modelo CLIP que se enfoca donde tú quieras.

[dsh] Una caja de herramientas visual más potente diseñada para modelos de texto plano: instalación y uso gratuito, reconocimiento directo de imágenes pegadas, preguntas y respuestas sobre múltiples imágenes, captura de pantalla a UI frontend y más | Integración nativa de DeepSeek Harness para el kit de herramientas visuales de agentes: Q&A de imágenes, OCR de capturas de pantalla largas, restauración de UI, grounding, diferencia de píxeles, Artifacts y Web UI.

VoxPoser: Mapas de valores 3D componibles para manipulación robótica con modelos de lenguaje.

[NeurIPS 2025 Spotlight] OpenCUA: Fundamentos abiertos para agentes de uso informático

MINT-1T: Un conjunto de datos multimodal intercalado de un billón de tokens.

Una lista curada de artículos de visión 3D relacionados con el dominio de la robótica en la era de los grandes modelos, es decir, LLMs/VLMs, inspirada en awesome-computer-vision, que incluye artículos, códigos y sitios web relacionados

Una lista curada de métodos de aprendizaje de prompts/adaptadores para modelos de visión-lenguaje como CLIP.

[ICLR 2026] Implementación oficial de "Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model"

OmniVinci es un LLM omnimodal para la comprensión conjunta de visión, audio y lenguaje.

MiMo-VL

🎉 PILOT: Una caja de herramientas de aprendizaje continuo basada en modelos preentrenados

Evaluación de modelos de texto a imagen/video/3D con VQAScore

[CVPR 2026] SpatialVID: Un conjunto de datos de video a gran escala con anotaciones espaciales.

An open-weight 11B model series for long-form and real-time video understanding

[ECCV2024] Modelo de lenguaje multimodal fundamentado con tokenización visual localizada

LLaVA-Mini es un modelo multimodal grande (LMM) unificado que admite la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente.

Cambrian-S: Hacia la superpercepción espacial en video

¡Chatbot Arena se encuentra con la multimodalidad! Multi-Modality Arena te permite comparar modelos de visión-lenguaje lado a lado mientras proporcionas imágenes como entrada. ¡Soporta MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 y muchos más!

Flame es un sistema de IA multimodal de código abierto diseñado para traducir maquetas de diseño de interfaz de usuario a código React de alta calidad. Aprovecha el modelado de lenguaje visual, la síntesis de datos automatizada y flujos de trabajo de entrenamiento estructurados para cerrar la brecha entre el diseño y el desarrollo front-end.

Código y directrices de implementación para el artículo ✨Counting Anything. Página del proyecto: https://mengqi-lei.github.io/count-anything-projectpage/