video-understanding

OpenMMLab 的下一代视频理解工具箱和基准

涵盖文本、图像、视频和音频任务的全能多模态评估工具包

[CVPR2024 Highlight][VideoChatGPT] ChatGPT 具备视频理解功能！并支持 miniGPT4、StableLM、MOSS 等多种语言模型

GLM-4.6V/4.5V/4.1V-Thinking：迈向具备可扩展强化学习的通用多模态推理

[ECCV2024] 用于多模态理解的视频基础模型与数据

[ICCV 2019] TSM：用于高效视频理解的时间位移模块

NVIDIA 视频搜索与摘要 (VSS) AI Blueprint 是一个 GPU 加速的参考架构，用于构建具备实时验证警报、可视化问答与自动化报告功能的视频分析代理程序。VSS Blueprint 采用如 NVIDIA Cosmos 等视觉语言模型 (VLM)、如 NVIDIA Nemotron 等 LLM、RAG 以及 NVIDIA NIM。

"VideoAgent: 用于视频理解、编辑与重制的全方位 Agentic 框架"

基于 PaddlePaddle 的强大视频理解工具包。支持视频数据标注工具、轻量级 RGB 与骨架动作识别模型，以及视频标签与运动动作检测的实用应用。

SALMONN 系列：一套先进的多模态 LLM

具备 3B 活跃参数的原生统一多模态模型，支持图像与视频的理解、生成及编辑。

视觉接地（visual grounding）研究论文精选列表

:fire: :fire: :fire: 近期计算机视觉 (CV) 相关论文列表

[CVPR 2024 Highlight🔥] Chat-UniVi：统一视觉表示赋能大型语言模型具备图像与视频理解能力

[CVPR 2023] VideoMAE V2: 通过双重遮罩扩展 Video Masked Autoencoders

用于长视频理解的 Goldfish 模型与用于短视频理解的 MiniGPT4-video 官方代码

An open-weight 11B model series for long-form and real-time video understanding

用于视觉语言模型的 ComfyUI 节点：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 的 GGUF 以及托管式 LLM/VLM API。

[ICCV 2023 & TPAMI 2025] MeViS：用于动作表达视频分割的大规模基准测试。