vision-language-model

Implementação de "Prismer: A Vision-Language Model with Multi-Task Experts".

Framework totalmente aberto para treinamento multimodal democratizado

Esta série levará você em uma jornada desde os fundamentos de NLP e Visão Computacional até o estado da arte em Modelos de Visão-Linguagem.

Transforme documentos em Markdown pronto para IA com compreensão visual

Toolkit visual e conjunto de habilidades projetado para modelos de texto puro "verem" imagens. Suporta compreensão de múltiplas imagens, perguntas e respostas, restauração de UI front-end, automação de GUI, com integração opcional a múltiplos agentes principais e reconhecimento direto de imagens coladas.

RAG sem parsing suportado por VLM

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM), o primeiro modelo do gênero capaz de gerar respostas em linguagem natural perfeitamente integradas com máscaras de segmentação de objetos.

[CVPR 2024 Highlight] Chat-UniVi: Representação visual unificada que capacita grandes modelos de linguagem com compreensão de imagem e vídeo.

Sobre este repositório: uma coleção selecionada dos artigos mais empolgantes e influentes da CVPR 2025. 🔥 [Artigo + Código + Demonstração]

[CVPR 2024] Alpha-CLIP: Um modelo CLIP que foca onde você quiser

[dsh] Integração nativa do DeepSeek Harness para o agent-vision-toolkit: perguntas e respostas sobre imagens, OCR de capturas de tela longas, restauração de UI, grounding, diff de pixels, Artifacts e Web UI.

VoxPoser: Mapas de Valores 3D Componíveis para Manipulação Robótica com Language Models

[Destaque NeurIPS 2025] OpenCUA: Fundações abertas para agentes de uso de computador

🍃 MINT-1T: Um conjunto de dados multimodal intercalado de um trilhão de tokens.

Uma lista com curadoria de artigos de visão 3D relacionados ao domínio de robótica na era de grandes modelos, como LLMs/VLMs, inspirada no awesome-computer-vision, incluindo artigos, códigos e sites relacionados

Uma lista curada de métodos incríveis de aprendizado de prompt/adapter para modelos de visão-linguagem como o CLIP.

[ICLR 2026] A implementação oficial de "Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model"

OmniVinci é um LLM onimodal para compreensão conjunta de visão, áudio e linguagem.

MiMo-VL

🎉 PILOT: Uma caixa de ferramentas de aprendizado contínuo baseada em modelo pré-treinado

Avaliando modelos de texto para imagem/vídeo/3D com VQAScore

[CVPR 2026] SpatialVID: Um conjunto de dados de vídeo em larga escala com anotações espaciais

An open-weight 11B model series for long-form and real-time video understanding

[ECCV2024] Modelo de Linguagem Grande Multimodal Fundamentado com Tokenização Visual Localizada

LLaVA-Mini é um modelo multimodal grande (LMM) unificado que suporta a compreensão de imagens, imagens de alta resolução e vídeos de forma eficiente.

Cambrian-S: Rumo à supersensoriamento espacial em vídeo

O Chatbot Arena encontra a multimodalidade! O Multi-Modality Arena permite comparar modelos de visão-linguagem lado a lado fornecendo imagens como entrada. Suporta MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 e muito mais!

O Flame é um sistema de IA multimodal de código aberto projetado para traduzir protótipos de design de interface em código React de alta qualidade. Ele aproveita modelagem de visão-linguagem, síntese automatizada de dados e fluxos de trabalho de treinamento estruturados para preencher a lacuna entre o design e o desenvolvimento front-end.

Código e diretrizes de implementação para o artigo ✨Counting Anything. Página do projeto: https://mengqi-lei.github.io/count-anything-projectpage/