video-understanding

Caixa de ferramentas e benchmark de compreensão de vídeo de próxima geração da OpenMMLab

Toolkit de avaliação multimodal tudo-em-um para tarefas de texto, imagem, vídeo e áudio.

[CVPR2024 Highlight][VideoChatGPT] ChatGPT com compreensão de vídeo! E muitos outros modelos de linguagem suportados, como miniGPT4, StableLM e MOSS.

GLM-4.6V/4.5V/4.1V-Thinking: Rumo ao raciocínio multimodal versátil com aprendizado por reforço escalável

[ECCV2024] Modelos de fundação de vídeo e dados para compreensão multimodal

[ICCV 2019] TSM: Módulo de Deslocamento Temporal para compreensão eficiente de vídeo.

O NVIDIA AI Blueprint para pesquisa e resumo de vídeo (VSS) é uma arquitetura de referência acelerada por GPU para criar agentes de análise de vídeo com alertas verificados em tempo real, perguntas e respostas visuais e relatórios automatizados. O Blueprint VSS utiliza modelos de linguagem visual (VLMs) como o NVIDIA Cosmos, LLMs como o NVIDIA Nemotron, RAG e NVIDIA NIMs.

VideoAgent: Framework de agentes tudo-em-um para compreensão, edição e recriação de vídeos

Conjuntos de ferramentas de compreensão de vídeo baseados em PaddlePaddle. Suporta ferramentas de anotação de dados de vídeo, modelos leves de reconhecimento de ação baseados em RGB e esqueleto, e aplicações práticas para marcação de vídeo e detecção de ações esportivas.

Família SALMONN: Um conjunto de LLMs multimodais avançados

Um modelo multimodal nativo unificado com 3B de parâmetros ativos para compreensão, geração e edição de imagens e vídeos.

awesome grounding: Uma lista curada de artigos de pesquisa sobre visual grounding

Lista de artigos de trabalhos recentes em Visão Computacional (CV)

[CVPR 2024 Highlight] Chat-UniVi: Representação visual unificada que capacita grandes modelos de linguagem com compreensão de imagem e vídeo.

[CVPR 2023] VideoMAE V2: Escalando Video Masked Autoencoders com mascaramento duplo

Código oficial para o modelo Goldfish para compreensão de vídeos longos e MiniGPT4-video para compreensão de vídeos curtos

An open-weight 11B model series for long-form and real-time video understanding

Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclui detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.

[ICCV 2023 & TPAMI 2025] MeViS: Um benchmark em larga escala para segmentação de vídeo com expressões de movimento