mllm

跨任務、語言與模態的大規模自監督預訓練

Agent S：一個使用電腦如同人類的開放代理框架

Mobile-Agent：功能強大的 GUI 代理系列

[NeurIPS 2025] SpatialLM：訓練大型語言模型以進行結構化室內建模

[CVPR'25] 文章官方實作 - MagicQuill：一個智能互動圖像編輯系統

從 Chain-of-Thought 提示到 OpenAI o1 與 DeepSeek-R1

ICML 2024 論文 NExT-GPT 的程式碼與模型，Any-to-Any 多模態大型語言模型

Eagle：採用以數據為中心策略的前沿視覺語言模型

InternLM-XComposer2.5-OmniLive：一個全面的多模態系統，用於長期串流視頻與音頻互動

mPLUG-DocOwl：用於文件理解的模組化多模態大型語言模型

Cambrian-1 是一個採用視覺中心設計的多模態 LLM 系列。

🚀🚀🚀 一些優秀的公開 YOLO 物件偵測系列專案與相關物件偵測資料集的集合。

Pixel-LLM 程式碼基底官方儲存庫：Sa2VA (T-PAMI-26)、SAMTok (CVPR-26)、VRT (Arxiv-25)、SaSaSa2VA (LSVOS 第一名解決方案)

[CVPR2026] 透過下一個點預測來檢測任何東西

包含 155 種以上 VLM/MLLM 架構的精選視覺化目錄：包含論文、圖表、訓練配方、資料集，以及多模態 AI 代理的發布時間軸。

用於民主化多模態訓練的完全開放框架

一系列輕量級的多模態模型。

OpenEMMA，Waymo EMMA 模型的寬鬆授權開源「重現」版本。

NEO 系列：從第一性原理構建的原生視覺語言模型

[NeurIPS' 2025] JarvisArt: 透過智慧相片修飾代理程式釋放人類藝術創造力

[CVPR2024] 「Osprey: Pixel Understanding with Visual Instruction Tuning」程式碼

[NeurIPS 2025 spotlight]「FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving」的官方實作

[NeurIPS 2025] 4KAgent：Agentic 任意影像轉 4K 超解析度。一個能將任何影像神奇還原至完美 4K 的智慧型電腦視覺 Agent！

🚀🚀🚀 收集一些關於大型語言模型（LLM）、視覺語言模型（VLM）、視覺語言動作（VLA）、AI 生成內容（AIGC）以及相關資料集與應用的優秀公開專案。

這是一個用於列出場景圖生成與應用相關論文的儲存庫。

個人專案：MPP-Qwen14B & MPP-Qwen-Next（基於 Qwen-LM 的多模態管線並行）。支援 [影片/圖片/多圖] {微調/對話}。別讓貧窮限制您的想像力！在 RTX3090/4090 24GB 上訓練您自己的 8B/14B LLaVA 風格 MLLM。

視覺作為統一的多模態生成

✨✨Woodpecker: 多模態大型語言模型的幻覺修正

[ICLR 2025] FakeShield：透過多模態大型語言模型進行可解釋的影像偽造偵測與定位

Emotion-LLaMA：透過指令微調的多模態情感辨識與推理