llava

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 建構至 GPT-4V 級別能力及更高水平。

SUPIR 旨在開發野外照片寫實影像復原的實用演算法，我們的新線上示範已於 suppixel.ai 上發布。

MLX-VLM 是一個在 Mac 上使用 MLX 進行 Vision Language Models (VLMs) 推理與微調的套件

開源大型多模態模型評估工具包，支援220+ LMMs與80+基準測試

中文 NLP 解決方案（大模型、資料、模型、訓練、推理）

C#/.NET 函式庫，可在本機裝置高效執行 LLM（🦙LLaMA/LLaVA）

Eagle：採用以數據為中心策略的前沿視覺語言模型

[EMNLP-2024] 建立適用於快速原型與生產的多模態語言代理程式

[ACL 2024 🔥] Video-ChatGPT 是一個能夠針對影片產生有意義對話的影片對話模型。它結合了 LLM 的能力與適應時空影片表示的預訓練視覺編碼器。我們也為基於影片的對話模型引入了嚴格的「量化評估基準」。

影像資料集的標籤管理器與說明文字產生器

袖珍型多模態 AI，用於跨多語言文字、圖片和影片的內容理解與生成，速度比 OpenAI CLIP 和 LLaVA 快達 5 倍

用於民主化多模態訓練的完全開放框架

小型大型多模態模型框架

🔥🔥 LLaVA++：使用 Phi-3 與 LLaMA-3 擴充 LLaVA（LLaVA LLaMA-3、LLaVA Phi-3）

基於 OpenCV、YOLO 與 LLAVA 的影像監控系統。

Paddle 多模態整合與探索，支援主流多模態任務，包含端到端大型多模態預訓練模型與擴散模型工具箱。具備高效能與靈活性。

視覺語言模型論文與模型的頂級前端收集與調查 GitHub 儲存庫。持續更新中。

👁️ + 💬 + 🎧 = 🤖 精選頂級基礎與多模態模型列表！[論文 + 程式碼 + 範例 + 教學]

用於視覺語言模型的 ComfyUI 節點：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支援開放詞彙檢測、SAM2/SAM3 分割、影片時序推理、透過 llama.cpp 的 GGUF 以及託管式 LLM/VLM API。

LLaVA-Mini 是一個統一的大型多模態模型 (LMM)，能以高效方式支援圖像、高解析度圖像及影片的理解。

AI 驅動的日常任務助手，由 Llama 3、DeepSeek R1 以及 HuggingFace 上的眾多模型提供支援。