video-understanding

OpenMMLabの次世代ビデオ理解ツールボックスおよびベンチマーク。

テキスト、画像、ビデオ、オーディオタスクを網羅するオールインワンのマルチモーダル評価ツールキット

[CVPR2024 Highlight][VideoChatGPT] 動画理解機能を持つ ChatGPT！miniGPT4、StableLM、MOSS など、他にも多くの LM をサポート。

GLM-4.6V/4.5V/4.1V-Thinking: スケーラブルな強化学習による汎用マルチモーダル推論に向けて

[ECCV2024] マルチモーダル理解のためのビデオ基盤モデルとデータ

[ICCV 2019] 効率的な動画理解のための TSM: Temporal Shift Module

動画検索および要約（VSS）向けのNVIDIA AI Blueprintは、リアルタイムの検証済みアラート、視覚的Q&A、自動レポート機能を備えた動画解析エージェントを構築するためのGPUアクセラレーテッド・リファレンスアーキテクチャです。VSS Blueprintは、NVIDIA Cosmosなどのビジョン言語モデル（VLM）、NVIDIA NemotronなどのLLM、RAG、およびNVIDIA NIMを使用します。

VideoAgent: 動画の理解、編集、リメイクのためのオールインワン型エージェントフレームワーク

PaddlePaddleベースの素晴らしい動画理解ツールキット。動画データアノテーションツール、軽量なRGBおよびスケルトンベースの行動認識モデル、動画タグ付けやスポーツ行動検出の実用的なアプリケーションをサポートしています。

SALMONN ファミリー：高度なマルチモーダル LLM のスイート

画像と動画の理解、生成、編集を行う、アクティブパラメータ数3Bのネイティブ統合マルチモーダルモデル

awesome grounding：ビジュアルグラウンディングに関する厳選された研究論文リスト

:fire: :fire: :fire: 最近の Computer Vision (CV) に関する論文リスト

[CVPR 2024 Highlight🔥] Chat-UniVi: 画像および動画の理解能力を大規模言語モデルに付与する統合型視覚表現

[CVPR 2023] VideoMAE V2: デュアルマスキングを用いたビデオマスクオートエンコーダーのスケーリング

長尺動画理解のための Goldfish モデルおよび短尺動画理解のための MiniGPT4-video の公式コード

An open-weight 11B model series for long-form and real-time video understanding

視覚言語モデル（Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V）用のComfyUIノード。さらに、オープン語彙検出、SAM2/SAM3セグメンテーション、動画の時間的推論、llama.cppによるGGUF、ホスト型LLM/VLM APIに対応。

[ICCV 2023 & TPAMI 2025] MeViS: 動きの表現を伴う動画セグメンテーションのための大規模ベンチマーク。