multimodal-large-language-models

✨✨最新的多模态大型语言模型进展

Mobile-Agent：功能强大的 GUI 代理系列

StarVector 是一个将向量化转化为代码生成任务的 SVG 基础模型。它使用视觉-语言建模架构，处理视觉与文字输入，产生高质量 SVG 代码，精度卓越

LLaMA-Omni 是一個基於 Llama-3.1-8B-Instruct 構建的低延遲、高質量端到端語音交互模型，旨在達到 GPT-4o 級別的語音能力。

基于 CV 模型与 mLLM 的跨平台视频结构化（视频分析）框架

✨✨[NeurIPS 2025] VITA-1.5：迈向 GPT-4o 级别的实时视频与语音互动

mPLUG-DocOwl：用于文档理解的模块化多模态大语言模型

Cambrian-1 是一个采用视觉中心设计的多模态 LLM 系列。

[ICML 2024] 掌握文本到图像扩散模型：利用多模态 LLM 进行重新标注、规划与生成（RPG）

Seed1.5-VL 是一个视觉-语言基础模型，旨在推进通用多模态理解与推理，在 60 个公开基准测试中的 38 个达到顶尖性能。

一种新颖的多模态大型语言模型（MLLM）架构，旨在结构化对齐视觉与文字嵌入。

精选的统一多模态模型列表

实时交互数字人，可自定义形象与音色，支持音色克隆，对话延迟低至 3 秒

Audio Flamingo 的 PyTorch 实现：一系列先进的音频理解语言模型

结合大型语言模型的语音、语言、音频、音乐处理框架

一系列轻量级多模态模型。

多模态思维链推理：综合调查

多模态学习在医学影像应用之资源集合。

NEO 系列：从第一性原理构建的原生视觉语言模型

✨✨[CVPR 2025] Video-MME：视频分析中首个多模态 LLM 的综合评估基准

LLaVA-Plus：能外挂并学习使用技能的大型语言与视觉助手。

[CVPR 2024] MovieChat：用于长视频理解的从密集 Token 到稀疏内存架构

大规模视觉表示模型

个人项目：MPP-Qwen14B & MPP-Qwen-Next（基于 Qwen-LM 的多模态流水线并行）。支持 [视频/图像/多图] {SFT/对话}。不要让贫穷限制您的想象力！在 RTX3090/4090 24GB 上训练您自己的 8B/14B LLaVA 风格 MLLM。

OmniVinci 是一个用于联合理解视觉、语音和语言的全模态 LLM。

✨✨Woodpecker: 多模态大型语言模型的幻觉修正

(IJCV 接受) Liquid：具备可扩展性与统一性的多模态语言模型生成器

NeurIPS 2024 论文：用于理解、生成、分割与编辑的统一像素级视觉 LLM

LLaVA-Mini 是一个统一的大型多模态模型 (LMM)，能以高效方式支持图像、高分辨率图像及视频的理解。

Cambrian-S：迈向影片中的空间超感知