video-understanding

Boîte à outils et benchmark de nouvelle génération pour la compréhension vidéo d'OpenMMLab

Boîte à outils d'évaluation multimodale tout-en-un pour les tâches textuelles, d'image, vidéo et audio.

[CVPR2024 Highlight][VideoChatGPT] ChatGPT avec compréhension vidéo ! Supporte également de nombreux autres modèles de langage tels que miniGPT4, StableLM et MOSS.

GLM-4.6V/4.5V/4.1V-Thinking : Vers un raisonnement multimodal polyvalent grâce à l'apprentissage par renforcement évolutif

[ECCV2024] Modèles de fondation vidéo et données pour la compréhension multimodale.

[ICCV 2019] TSM : Module de décalage temporel pour une compréhension vidéo efficace

Le blueprint NVIDIA AI pour la recherche et le résumé vidéo (VSS) est une architecture de référence accélérée par GPU pour créer des agents d'analyse vidéo avec des alertes vérifiées en temps réel, des questions-réponses visuelles et des rapports automatisés. Le blueprint VSS utilise des modèles de langage visuel (VLM) tels que NVIDIA Cosmos, des LLM tels que NVIDIA Nemotron, le RAG et NVIDIA NIMs.

VideoAgent : framework agentique tout-en-un pour la compréhension, l'édition et la recréation de vidéos

Boîtes à outils de compréhension vidéo basées sur PaddlePaddle. Inclut des outils d'annotation de données vidéo, des modèles légers de reconnaissance d'actions basés sur le RGB et le squelette, ainsi que des applications pratiques pour le taggage vidéo et la détection d'actions sportives.

Famille SALMONN : une suite de LLM multimodaux avancés.

Un modèle multimodal unifié natif de 3 milliards de paramètres actifs pour la compréhension, la génération et l'édition d'images et de vidéos.

awesome grounding : une liste organisée d'articles de recherche sur le visual grounding.

Une liste d'articles sur des travaux récents en vision par ordinateur (CV)

[CVPR 2024 Highlight] Chat-UniVi : Une représentation visuelle unifiée permettant aux grands modèles de langage de comprendre les images et les vidéos.

[CVPR 2023] VideoMAE V2 : Mise à l'échelle des Video Masked Autoencoders avec double masquage

Code officiel du modèle Goldfish pour la compréhension de vidéos longues et de MiniGPT4-video pour la compréhension de vidéos courtes

An open-weight 11B model series for long-form and real-time video understanding

Nœuds ComfyUI pour les modèles vision-langage : Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclut également la détection à vocabulaire ouvert, la segmentation SAM2/SAM3, le raisonnement temporel vidéo, GGUF via llama.cpp et des API LLM/VLM hébergées.

[ICCV 2023 & TPAMI 2025] MeViS : Un benchmark à grande échelle pour la segmentation vidéo avec expressions de mouvement.