vision-language-model

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 构建至 GPT-4V 级别能力及更高水平。

X-AnyLabeling：轻量、高效、统一的跨平台桌面标注应用，支持文字、图像、视频与多模态数据，结合多功能内置工具、最先进 AI 模型与灵活多格式导出

[CVPR 2024 Oral] InternVL Family：一个先驱性的开源替代 GPT-4o 的多模态对话模型，接近 GPT-4o 的表现

👀 只需 2 小时即可从头训练 6500 万参数的视觉语言模型

Qwen-VL（通义千问-VL）聊天与预训练大型视觉语言模型的官方仓库，由 Alibaba Cloud 提出

MineContext 是您的主动式上下文感知 AI 合作伙伴（Context-Engineering+ChatGPT Pulse）

MLX-VLM 是一个在 Mac 上使用 MLX 进行 Vision Language Models (VLMs) 推理与微调的套件

Align Anything：使用反馈训练全模态模型

涵盖文本、图像、视频和音频任务的全能多模态评估工具包

DeepSeek-VL：迈向实际世界的视觉-语言理解

MiniMax-Text-01 与 MiniMax-VL-01 官方仓库，基于 Linear Attention 的大语言模型与视觉语言模型

“Mini-Gemini：挖掘多模态视觉语言模型潜力”官方仓库

用於視覺任務的精選視覺語言模型合集

离线 AI 的瑞士军刀。在手机或 Mac 上进行聊天、视觉识别、语音对话与图像生成——支持 GGUF LLMs、视觉、Whisper 语音转文字、Stable Diffusion、工具调用以及本地网络服务器。可在 CPU、GPU 或 NPU 上运行。无需账号、无需 API 密钥，数据零外泄。

InternLM-XComposer2.5-OmniLive：一个全面的多模态系统，用于长期串流视频与音频互动

用于训练 ColVision 模型并执行推理的代码，例如 ColPali、ColQwen2 与 ColSmol。

Cradle 框架是通用计算机控制（GCC）的首次尝试。Cradle 通过在具备最低要求的标准化通用环境中提供强大的推理能力、自我改进与技能策划，支持智能体精通任何计算机任务。

阿里巴巴开源的 Qwen-VL 系列微调开源实现。

[CVPR 2025] 用于 GUI Agent 与计算机操作的开源、端到端视觉-语言-动作模型。

自动驾驶领域优秀的 LLM/VLM/VLA/世界模型资源精选列表（持续更新）

NVIDIA 视频搜索与摘要 (VSS) AI Blueprint 是一个 GPU 加速的参考架构，用于构建具备实时验证警报、可视化问答与自动化报告功能的视频分析代理程序。VSS Blueprint 采用如 NVIDIA Cosmos 等视觉语言模型 (VLM)、如 NVIDIA Nemotron 等 LLM、RAG 以及 NVIDIA NIM。

朝向高级文学机器（Advanced Literate Machinery）的原创创新点子与算法集合。本项目由阿里巴巴集团通义实验室语言技术实验室 OCR 团队维护。

Seed1.5-VL 是一个视觉-语言基础模型，旨在推进通用多模态理解与推理，在 60 个公开基准测试中的 38 个达到顶尖性能。

针对 Apple Silicon 的高性能 OpenAI 与 Anthropic 兼容 LLM 推理服务器。原生支持 MLX、连续批处理、多模态模型、MCP 工具调用以及 Claude Code。

借助视觉语言模型（VLM），从复杂文档中获取干净的数据 ⚡

[ICCV 2025] Describe Anything 的实现：详细的局部区域图像与视频字幕生成

一种新颖的多模态大型语言模型（MLLM）架构，旨在结构化对齐视觉与文字嵌入。

日本語LLM总结 - 日本语LLM概览

在配备 Apple Silicon 的 Mac 上微调 LLMs。支持 SFT、DPO、GRPO、Vision、TTS、STT、Embedding 与 OCR 微调 —— 基于 MLX 原生实现。兼容 Unsloth API。

精选的统一多模态模型列表