video-understanding

Bộ công cụ và benchmark hiểu video thế hệ mới của OpenMMLab

Bộ công cụ đánh giá đa phương thức toàn diện cho các tác vụ Văn bản, Hình ảnh, Video và Âm thanh

[CVPR2024 Highlight][VideoChatGPT] ChatGPT với tính năng hiểu video! Và nhiều LM được hỗ trợ khác như miniGPT4, StableLM và MOSS.

GLM-4.6V/4.5V/4.1V-Thinking: Hướng tới suy luận đa phương thức linh hoạt với học tăng cường có thể mở rộng

[ECCV2024] Video Foundation Models & Data dành cho thấu hiểu đa phương thức

[ICCV 2019] TSM: Mô-đun dịch chuyển thời gian để hiểu video hiệu quả

NVIDIA AI Blueprint cho tìm kiếm và tóm tắt video (VSS) là một kiến trúc tham chiếu tăng tốc bằng GPU để xây dựng các tác nhân phân tích video với cảnh báo được xác thực theo thời gian thực, hỏi đáp trực quan và báo cáo tự động. VSS Blueprint sử dụng các mô hình ngôn ngữ tầm nhìn (VLMs) như NVIDIA Cosmos, LLMs như NVIDIA Nemotron, RAG và NVIDIA NIMs.

"VideoAgent: Khung tác nhân tất cả trong một để hiểu, chỉnh sửa và làm lại video"

Bộ công cụ hiểu video tuyệt vời dựa trên PaddlePaddle. Nó hỗ trợ các công cụ chú thích dữ liệu video, mô hình nhận dạng hành động nhẹ dựa trên RGB và khung xương, các ứng dụng thực tế cho việc gắn thẻ video và phát hiện hành động thể thao.

Dòng SALMONN: Bộ LLM đa phương thức tiên tiến

Một mô hình đa phương thức hợp nhất gốc 3B tham số hoạt động (3B-active-parameter) dành cho việc hiểu, tạo và chỉnh sửa hình ảnh cũng như video.

awesome grounding: Danh sách tuyển chọn các bài báo nghiên cứu về visual grounding.

:fire: :fire: :fire: Danh sách bài báo về một số công trình Thị giác Máy tính (CV) gần đây

[CVPR 2024 Highlight🔥] Chat-UniVi: Biểu diễn hình ảnh hợp nhất giúp các mô hình ngôn ngữ lớn có khả năng hiểu hình ảnh và video

[CVPR 2023] VideoMAE V2: Mở rộng quy mô Video Masked Autoencoders với Dual Masking.

Mã nguồn chính thức cho mô hình Goldfish để hiểu video dài và MiniGPT4-video để hiểu video ngắn

An open-weight 11B model series for long-form and real-time video understanding

Các node ComfyUI dành cho mô hình ngôn ngữ - thị giác: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Cùng với khả năng phát hiện từ vựng mở, phân đoạn SAM2/SAM3, suy luận thời gian trong video, GGUF qua llama.cpp và các API LLM/VLM được lưu trữ.

[ICCV 2023 & TPAMI 2025] MeViS: Điểm chuẩn quy mô lớn cho phân đoạn video với các biểu đạt chuyển động