vlm

NVIDIA AI Blueprint cho tìm kiếm và tóm tắt video (VSS) là một kiến trúc tham chiếu tăng tốc bằng GPU để xây dựng các tác nhân phân tích video với cảnh báo được xác thực theo thời gian thực, hỏi đáp trực quan và báo cáo tự động. VSS Blueprint sử dụng các mô hình ngôn ngữ tầm nhìn (VLMs) như NVIDIA Cosmos, LLMs như NVIDIA Nemotron, RAG và NVIDIA NIMs.

🚀🚀🚀 Tổng hợp các dự án chuỗi phát hiện đối tượng YOLO công khai tuyệt vời và các tập dữ liệu phát hiện đối tượng liên quan.

Cách khai báo để chạy các mô hình AI trong React Native trên thiết bị, được hỗ trợ bởi ExecuTorch.

OpenGUI là một khung tác nhân GUI Android dành cho AI sử dụng điện thoại, có khả năng nhìn, lên kế hoạch và vận hành các ứng dụng di động thực tế thông qua GUI.

Bộ công cụ nén mô hình được thiết kế để nâng cao tính dễ sử dụng, tính toàn diện và hiệu quả.

Awesome-Jailbreak-on-LLMs là bộ sưu tập các phương pháp bẻ khóa tiên tiến, mới lạ và thú vị trên LLMs. Nó bao gồm các bài báo, mã nguồn, tập dữ liệu, đánh giá và phân tích.

Giám sát camera bằng VLM

Tối ưu hóa thiết kế máy bay nhanh chóng thông qua các phép biến đổi đồ thị tính toán (ví dụ: vi phân tự động). Các công cụ phân tích có thể kết hợp cho khí động học, động lực đẩy, cấu trúc, thiết kế quỹ đạo và nhiều hơn nữa.

Danh mục trực quan được tuyển chọn của hơn 155 kiến trúc mô hình ngôn ngữ thị giác (VLM/MLLM): tài liệu nghiên cứu, sơ đồ, công thức huấn luyện, tập dữ liệu và mốc thời gian phát hành cho các tác nhân AI đa phương thức.

JoyCaption là một Mô hình Ngôn ngữ Thị giác (VLM) tạo chú thích hình ảnh được xây dựng từ đầu như một mô hình miễn phí, mở và không kiểm duyệt cho cộng đồng sử dụng trong việc huấn luyện các mô hình Diffusion.

Một GUI Agent mã nguồn mở đầu cuối dựa trên VLM

Nền tảng mở của InternRobotics để xây dựng các mô hình nền tảng điều hướng tổng quát.

Một họ mô hình đa phương thức nhẹ.

MindSpore + 🤗Huggingface: Chạy bất kỳ mô hình Transformers/Diffusers nào trên MindSpore với độ tương thích mượt mà và tăng tốc.

🚀 Thư viện huấn luyện phân tán Pytorch cho LLM/VLM với hỗ trợ sẵn có cho Hugging Face

Trợ lý GPT toàn diện cho Android, kích hoạt bằng phím âm lượng để tương tác giọng nói, hỗ trợ kết nối mạng, chụp ảnh, mẫu, phân tích tài liệu và chế độ tác nhân (agent mode).

UniWorld: Bộ mã hóa ngữ nghĩa độ phân giải cao cho việc hiểu và tạo hình ảnh hợp nhất

Dòng NEO: Các mô hình ngôn ngữ-thị giác gốc (Native Vision-Language Models) từ những nguyên lý cơ bản

Mô hình chỉnh sửa đa ảnh SOTA mã nguồn mở

Cơ sở mã hợp nhất cho các mô hình thế giới nâng cao.

Danh sách tổng hợp các bài báo về 3D Vision trong lĩnh vực Robotics thời đại mô hình lớn (LLMs/VLMs), lấy cảm hứng từ awesome-computer-vision, bao gồm bài báo, mã nguồn và các trang web liên quan

Kho lưu trữ chính thức của bài báo khảo sát "LLM × DATA"

🚀🚀🚀 Bộ sưu tập các dự án công khai ấn tượng về Mô hình ngôn ngữ lớn (LLM), Mô hình ngôn ngữ thị giác (VLM), Hành động ngôn ngữ thị giác (VLA), Nội dung do AI tạo (AIGC), cùng các bộ dữ liệu và ứng dụng liên quan.

MobileGym: Nền tảng mô phỏng có thể kiểm chứng và song song hóa cao cho nghiên cứu tác nhân GUI di động · Trình mô phỏng Android chạy trên trình duyệt · Đánh giá có thể kiểm chứng · Đào tạo RL trực tuyến có khả năng mở rộng

[CVPR 2026🔥] 🧑‍🎨 OmniLottie, trình tạo hoạt ảnh vector đa phương thức mã nguồn mở, xuất ra định dạng Lottie JSON.

Dingo: Công cụ đánh giá toàn diện về chất lượng dữ liệu, mô hình và ứng dụng AI.

[CVPR 2024 🔥] GeoChat, mô hình ngôn ngữ thị giác lớn (Large Vision Language Model) đầu tiên được căn chỉnh cho viễn thám.

[ECCV 2026] SparkVSR: Siêu phân giải video tương tác thông qua lan truyền keyframe thưa

Công cụ AI biên C++ cấp sản xuất cho phân tích video và VLM trên thiết bị qua Sophon, Rockchip RKNN và x86, với điều phối trực quan, OSD thời gian thực, sự kiện và các tiêu chuẩn có thể tái lập

Kho lưu trữ này chứa mã cho "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026] và "MMEB-V3" [COLM 2026]