mllm

跨任务、语言和模态的大规模自监督预训练

Agent S：一个使用电脑如同人类的开放代理框架

Mobile-Agent：功能强大的 GUI 代理系列

[NeurIPS 2025] SpatialLM：训练大型语言模型以进行结构化室内建模

[CVPR'25] 文章官方实现 - MagicQuill：一个智能互动图像编辑系统

从 Chain-of-Thought 提示到 OpenAI o1 与 DeepSeek-R1

ICML 2024 论文 NExT-GPT 的代码与模型，Any-to-Any 多模态大型语言模型

Eagle：采用以数据为中心策略的前沿视觉语言模型

InternLM-XComposer2.5-OmniLive：一个全面的多模态系统，用于长期串流视频与音频互动

mPLUG-DocOwl：用于文档理解的模块化多模态大语言模型

Cambrian-1 是一个采用视觉中心设计的多模态 LLM 系列。

🚀🚀🚀 一些优秀的公开 YOLO 对象检测系列项目与相关对象检测数据集的集合。

Pixel-LLM 代码库官方存储库：Sa2VA (T-PAMI-26)、SAMTok (CVPR-26)、VRT (Arxiv-25)、SaSaSa2VA (LSVOS 第一名解决方案)

[CVPR2026] 通过下一个点预测来检测任何东西

包含 155 种以上 VLM/MLLM 架构的精选视觉化目录：包含论文、图表、训练配方、数据集，以及多模态 AI 代理的发布时间轴。

用于民主化多模态训练的完全开放框架

一系列轻量级多模态模型。

OpenEMMA，Waymo EMMA 模型的宽松授权开源“重现”版本。

NEO 系列：从第一性原理构建的原生视觉语言模型

[NeurIPS' 2025] JarvisArt: 通过智能照片修饰代理程序释放人类艺术创造力

[CVPR2024] “Osprey: Pixel Understanding with Visual Instruction Tuning” 代码

[NeurIPS 2025 spotlight]「FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving」的官方实现

[NeurIPS 2025] 4KAgent：Agentic 任意影像转 4K 超分辨率。一个能将任何影像神奇还原至完美 4K 的智慧型电脑视觉 Agent！

🚀🚀🚀 收集一些关于大型语言模型（LLM）、视觉语言模型（VLM）、视觉语言动作（VLA）、AI 生成内容（AIGC）以及相关数据集与应用的优秀公开项目。

这是一个用于收录场景图生成与应用相关论文的仓库。

个人项目：MPP-Qwen14B & MPP-Qwen-Next（基于 Qwen-LM 的多模态流水线并行）。支持 [视频/图像/多图] {SFT/对话}。不要让贫穷限制您的想象力！在 RTX3090/4090 24GB 上训练您自己的 8B/14B LLaVA 风格 MLLM。

视觉作为统一的多模态生成

✨✨Woodpecker: 多模态大型语言模型的幻觉修正

[ICLR 2025] FakeShield：通过多模态大语言模型进行可解释的图像篡改检测与定位

Emotion-LLaMA：通过指令微调的多模态情感识别与推理