vision-language

[ECCV 2024] Implementación oficial del artículo "Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection"

Versión en chino de CLIP que logra la recuperación y generación de representaciones multimodales en chino.

Repositorio oficial de OFA (ICML 2022). Artículo: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

Una implementación de código abierto para el ajuste fino de la serie Qwen-VL de Alibaba Cloud.

Una colección de ideas y algoritmos originales e innovadores hacia Advanced Literate Machinery. Este proyecto lo mantiene el equipo de OCR en el Language Technology Lab, Tongyi Lab, Alibaba Group.

[ACL 2024] Video-ChatGPT es un modelo de conversación de video capaz de generar diálogos significativos sobre videos. Combina las capacidades de los LLMs con un codificador visual preentrenado adaptado para la representación espaciotemporal de video. También introducimos un riguroso 'Quantitative Evaluation Benchmarking' para modelos conversacionales basados en video.

Resumen de LLM en japonés - Descripción general de los LLM japoneses.

[ECCV 2024 Oral] DriveLM: Conducción con respuesta a preguntas visuales basada en grafos.

Un modelo de representación general para modalidades de visión, audio y lenguaje. Artículo: ONE-PEACE: Explorando un modelo de representación general hacia modalidades ilimitadas.

Un framework de modelos multimodales grandes a pequeña escala

CALVIN: un benchmark para el aprendizaje de políticas condicionadas por lenguaje en tareas de manipulación robótica de largo horizonte

[CVPR 2024] Alpha-CLIP: un modelo CLIP que se enfoca donde tú quieras.

Implementación de terceros del artículo Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection.

🔥🔥 LLaVA++: Extensión de LLaVA con Phi-3 y LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3).

[ICLR 2024] Control de modelos de lenguaje visual para la restauración universal de imágenes. Quinto lugar en el desafío NTIRE 2024 Restore Any Image Model in the Wild.

Implementación oficial de SEED-LLaMA (ICLR 2024).

An open-weight 11B model series for long-form and real-time video understanding

Repositorio oficial del artículo "RemoteCLIP: A Vision Language Foundation Model for Remote Sensing" (IEEE TGRS)