vision-language-model

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 建構至 GPT-4V 級別能力及更高水平。

X-AnyLabeling：輕量、高效、統一的跨平台桌面標註應用，支援文字、影像、影片與多模態資料，結合多功能內建工具、最先進 AI 模型與彈性多格式匯出

[CVPR 2024 Oral] InternVL Family：一個先驅性的開源替代 GPT-4o 的多模態對話模型，接近 GPT-4o 的表現

👀 只需 2 小時即可從頭訓練 6500 萬參數的視覺語言模型

Qwen-VL（通义千问-VL）聊天與預訓練大型視覺語言模型的官方倉庫，由 Alibaba Cloud 提出

MineContext 是您的主動式上下文感知 AI 合作夥伴（Context-Engineering+ChatGPT Pulse）

MLX-VLM 是一個在 Mac 上使用 MLX 進行 Vision Language Models (VLMs) 推理與微調的套件

Align Anything：使用回饋訓練全模態模型

涵蓋文字、影像、影片與音訊任務的全能多模態評估工具包

DeepSeek-VL：邁向實際世界的視覺-語言理解

MiniMax-Text-01 与 MiniMax-VL-01 官方仓库，基于 Linear Attention 的大语言模型与视觉语言模型

“Mini-Gemini：挖掘多模态视觉语言模型潜力”官方仓库

用於視覺任務的精選視覺語言模型合集

離線 AI 的瑞士刀。在手機或 Mac 上進行聊天、視覺辨識、語音對話與圖像生成——支援 GGUF LLMs、視覺、Whisper 語音轉文字、Stable Diffusion、工具呼叫以及本機網路伺服器。可在 CPU、GPU 或 NPU 上運行。無需帳號、無需 API 金鑰，資料零外洩。

InternLM-XComposer2.5-OmniLive：一個全面的多模態系統，用於長期串流視頻與音頻互動

用於訓練 ColVision 模型並執行推論的程式碼，例如 ColPali、ColQwen2 與 ColSmol。

Cradle 框架是通用電腦控制（GCC）的首次嘗試。Cradle 透過在具備最低要求的標準化通用環境中提供強大的推理能力、自我改善與技能策劃，支援智慧體精通任何電腦任務。

阿里巴巴開源的 Qwen-VL 系列微調開源實現。

[CVPR 2025] 用於 GUI Agent 與電腦操作的開源、端到端視覺-語言-動作模型。

自動駕駛領域優秀的 LLM/VLM/VLA/世界模型資源精選列表（持續更新）

NVIDIA 影片搜尋與摘要 (VSS) AI Blueprint 是一個 GPU 加速的參考架構，用於建構具備即時驗證警報、視覺化問答與自動化報告功能的影片分析代理程式。VSS Blueprint 採用如 NVIDIA Cosmos 等視覺語言模型 (VLM)、如 NVIDIA Nemotron 等 LLM、RAG 以及 NVIDIA NIM。

朝向先進文學機器（Advanced Literate Machinery）的原創創新點子與演算法集合。本專案由阿里巴巴集團通義實驗室語言技術實驗室 OCR 團隊維護。

Seed1.5-VL 是一個視覺-語言基礎模型，旨在推進通用多模態理解與推理，在 60 個公開基準測試中的 38 個達到頂尖效能。

針對 Apple Silicon 的高效能 OpenAI 與 Anthropic 相容 LLM 推論伺服器。原生支援 MLX、連續批次處理、多模態模型、MCP 工具呼叫以及 Claude Code。

藉由視覺語言模型（VLM），從複雜的文件中取得乾淨的資料 ⚡

[ICCV 2025] Describe Anything 的實作：詳細的局部區域影像與影片字幕生成

一種新穎的多模態大型語言模型（MLLM）架構，旨在結構化對齊視覺與文字嵌入。

日本語LLM總結 - 日本語LLM概覽

在配備 Apple Silicon 的 Mac 上微調 LLMs。支援 SFT、DPO、GRPO、Vision、TTS、STT、Embedding 與 OCR 微調 —— 基於 MLX 原生實現。相容 Unsloth API。

精選的統一多模態模型清單