vision-and-language

Un repositorio integral para actualizaciones de investigación en IA generativa, recursos de entrevistas, notebooks y mucho más.

LAVIS - Una biblioteca integral para inteligencia de lenguaje y visión

Optimiza el proceso de ajuste fino (fine-tuning) para modelos multimodales: PaliGemma 2, Florence-2 y Qwen2.5-VL.

[EMNLP-2024] Construye agentes de lenguaje multimodales para prototipado rápido y producción

Código para el artículo de ICML 2021 (charla larga): "ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision"

Resumen de LLM en japonés - Descripción general de los LLM japoneses.

Detección de objetos de extremo a extremo, en tiempo real y con vocabulario abierto

Implementación de Prismer: un modelo de lenguaje y visión con expertos multitarea

Base de código para Aria, un MoE nativo multimodal abierto.

Un modelo de representación general para modalidades de visión, audio y lenguaje. Artículo: ONE-PEACE: Explorando un modelo de representación general hacia modalidades ilimitadas.

[Candidato a mejor artículo en ECCV 2024 y TPAMI 2025] PointLLM: Potenciando a los modelos de lenguaje extenso para comprender nubes de puntos.

[ICML2024 (Oral)] Implementación oficial en PyTorch de DoRA: Weight-Decomposed Low-Rank Adaptation

CALVIN: un benchmark para el aprendizaje de políticas condicionadas por lenguaje en tareas de manipulación robótica de largo horizonte

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM), el primer modelo de su clase capaz de generar respuestas en lenguaje natural integradas perfectamente con máscaras de segmentación de objetos.

Este repositorio es una colección curada de los artículos más interesantes e influyentes de CVPR 2025. 🔥 [Artículo + Código + Demo]

[CVPR 2024] Alpha-CLIP: un modelo CLIP que se enfoca donde tú quieras.

Este repositorio es una colección curada de los artículos más interesantes e influyentes de CVPR 2024. 🔥 [Artículo + Código + Demo]

Plataforma de investigación de IA para aprendizaje por refuerzo a partir de imágenes panorámicas reales.

Este repositorio es una colección curada de los artículos más interesantes e influyentes de CVPR 2023. 🔥 [Artículo + Código]

Creación de software para la supervisión automática en exámenes en línea.

Una lista curada para navegación de visión y lenguaje. Artículo de ACL 2022 "Vision-and-Language Navigation: A Survey of Tasks, Methods, and Future Directions".

Una lista curada de recursos sobre visión y lenguaje (aún en construcción... ¡mantente atento!)

Este repositorio enumera los artículos relevantes resumidos en nuestro estudio: Un estudio sistemático de la ingeniería de prompts en modelos fundacionales de visión-lenguaje.