mllm

Tiền huấn luyện tự giám sát quy mô lớn trên các tác vụ, ngôn ngữ và phương thức

Agent S: một framework agentic mở sử dụng máy tính như con người.

Mobile-Agent: Dòng GUI Agent mạnh mẽ

[NeurIPS 2025] SpatialLM: Huấn luyện Mô hình Ngôn ngữ Lớn cho việc mô hình hóa nội thất có cấu trúc

[CVPR'25] Mã nguồn chính thức cho bài báo - MagicQuill: Hệ thống chỉnh sửa ảnh tương tác thông minh

Từ Chain-of-Thought prompting đến OpenAI o1 và DeepSeek-R1 🍓

Mã nguồn và mô hình cho bài báo ICML 2024, NExT-GPT: Mô hình ngôn ngữ lớn đa phương thức Any-to-Any

Eagle: Mô hình Thị giác-Ngôn ngữ Tiên phong với Chiến lược Lấy Dữ liệu làm Trọng tâm

InternLM-XComposer2.5-OmniLive: Hệ thống đa phương thức toàn diện cho tương tác video và âm thanh phát streaming thời gian dài

mPLUG-DocOwl: Mô hình ngôn ngữ lớn đa phương thức mô-đun hóa để hiểu tài liệu

Cambrian-1 là dòng LLM đa phương thức với thiết kế tập trung vào thị giác.

🚀🚀🚀 Tổng hợp các dự án chuỗi phát hiện đối tượng YOLO công khai tuyệt vời và các tập dữ liệu phát hiện đối tượng liên quan.

Kho lưu trữ chính thức cho mã nguồn Pixel-LLM: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (giải pháp hạng nhất cho LSVOS)

[CVPR2026] Phát hiện mọi thứ thông qua dự đoán điểm tiếp theo (Next Point Prediction)

Danh mục trực quan được tuyển chọn của hơn 155 kiến trúc mô hình ngôn ngữ thị giác (VLM/MLLM): tài liệu nghiên cứu, sơ đồ, công thức huấn luyện, tập dữ liệu và mốc thời gian phát hành cho các tác nhân AI đa phương thức.

Khung mã nguồn mở hoàn toàn dành cho đào tạo đa phương thức phi tập trung

Một họ mô hình đa phương thức nhẹ.

OpenEMMA, một "bản sao" mã nguồn mở với giấy phép linh hoạt của mô hình EMMA từ Waymo.

Dòng NEO: Các mô hình ngôn ngữ-thị giác gốc (Native Vision-Language Models) từ những nguyên lý cơ bản

[NeurIPS' 2025] JarvisArt: Giải phóng khả năng sáng tạo nghệ thuật của con người thông qua tác nhân chỉnh sửa ảnh thông minh

[CVPR2024] Mã nguồn cho "Osprey: Pixel Understanding with Visual Instruction Tuning"

[NeurIPS 2025 spotlight] Triển khai chính thức cho "FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving"

[NeurIPS 2025] 4KAgent: Tác nhân siêu phân giải bất kỳ hình ảnh nào lên 4K. Một tác nhân thị giác máy tính thông minh có thể khôi phục kỳ diệu bất kỳ hình ảnh nào thành 4K hoàn hảo!

🚀🚀🚀 Bộ sưu tập các dự án công khai ấn tượng về Mô hình ngôn ngữ lớn (LLM), Mô hình ngôn ngữ thị giác (VLM), Hành động ngôn ngữ thị giác (VLA), Nội dung do AI tạo (AIGC), cùng các bộ dữ liệu và ứng dụng liên quan.

Kho lưu trữ danh sách các bài báo về tạo và ứng dụng đồ thị cảnh (scene graph).

Dự án cá nhân: MPP-Qwen14B & MPP-Qwen-Next (Đường ống song song đa phương thức dựa trên Qwen-LM). Hỗ trợ [video/hình ảnh/đa hình ảnh] {sft/hội thoại}. Đừng để sự nghèo nàn giới hạn trí tưởng tượng của bạn! Huấn luyện MLLM kiểu LLaVA 8B/14B của riêng bạn trên RTX3090/4090 24GB.

Tầm nhìn như một mô hình tạo đa phương thức thống nhất.

✨✨Woodpecker: Sửa lỗi ảo tưởng (hallucination) cho các mô hình ngôn ngữ lớn đa phương thức

[ICLR 2025] FakeShield: Phát hiện và định vị giả mạo hình ảnh có thể giải thích thông qua các mô hình ngôn ngữ lớn đa phương thức

Emotion-LLaMA: Nhận diện và suy luận cảm xúc đa phương thức với Instruction Tuning.