multimodal-large-language-models

✨✨最新的多模態大型語言模型進展

Mobile-Agent：功能強大的 GUI 代理系列

StarVector 是一個將向量化轉化為程式碼生成任務的 SVG 基礎模型。它使用視覺-語言建模架構，處理視覺與文字輸入，產生高品質 SVG 程式碼，精度卓越

LLaMA-Omni 是一個基於 Llama-3.1-8B-Instruct 構建的低延遲、高品質端到端語音互動模型，旨在達到 GPT-4o 級別的語音能力。

基於 CV 模型與 mLLM 的跨平台視頻結構化（視頻分析）框架

✨✨[NeurIPS 2025] VITA-1.5：邁向 GPT-4o 級別的即時視訊與語音互動

mPLUG-DocOwl：用於文件理解的模組化多模態大型語言模型

Cambrian-1 是一個採用視覺中心設計的多模態 LLM 系列。

[ICML 2024] 掌握文字到圖像擴散模型：利用多模態 LLM 進行重新標註、規劃與生成（RPG）

Seed1.5-VL 是一個視覺-語言基礎模型，旨在推進通用多模態理解與推理，在 60 個公開基準測試中的 38 個達到頂尖效能。

一種新穎的多模態大型語言模型（MLLM）架構，旨在結構化對齊視覺與文字嵌入。

精選的統一多模態模型清單

即時互動數位人，可自訂形象與音色，支援音色複製，對話延遲低至 3 秒

Audio Flamingo 的 PyTorch 實現：一系列先進的音訊理解語言模型

結合大型語言模型的語音、語言、音訊、音樂處理框架

一系列輕量級的多模態模型。

多模態思維鏈推理：綜合調查

多模態學習在醫學影像應用之資源集合。

NEO 系列：從第一性原理構建的原生視覺語言模型

✨✨[CVPR 2025] Video-MME：影片分析中首個多模態 LLM 的綜合評估基準

LLaVA-Plus：能外掛並學習使用技能的大型語言與視覺助理。

[CVPR 2024] MovieChat：用於長影片理解的從密集 Token 到稀疏記憶體架構

大規模視覺表示模型

個人專案：MPP-Qwen14B & MPP-Qwen-Next（基於 Qwen-LM 的多模態管線並行）。支援 [影片/圖片/多圖] {微調/對話}。別讓貧窮限制您的想像力！在 RTX3090/4090 24GB 上訓練您自己的 8B/14B LLaVA 風格 MLLM。

OmniVinci 是一個用於聯合理解視覺、語音和語言的全模態 LLM。

✨✨Woodpecker: 多模態大型語言模型的幻覺修正

(IJCV 接受) Liquid：具備可擴展性與統一性的多模態語言模型生成器

NeurIPS 2024 論文：用於理解、生成、分割與編輯的統一像素級視覺 LLM

LLaVA-Mini 是一個統一的大型多模態模型 (LMM)，能以高效方式支援圖像、高解析度圖像及影片的理解。

Cambrian-S：邁向影片中的空間超感知