llava

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 构建至 GPT-4V 级别能力及更高水平。

SUPIR 旨在开发野外照片写实图像恢复的实用算法，我们的新线上演示已在 suppixel.ai 上发布。

MLX-VLM 是一个在 Mac 上使用 MLX 进行 Vision Language Models (VLMs) 推理与微调的套件

开源大型多模态模型评估工具包，支持220+ LMMs与80+基准测试

中文 NLP 解决方案（大模型、数据、模型、训练、推理）

C#/.NET 函式库，可在本机装置高效执行 LLM（🦙LLaMA/LLaVA）

Eagle：采用以数据为中心策略的前沿视觉语言模型

[EMNLP-2024] 构建适用于快速原型与生产的多模态语言代理

[ACL 2024 🔥] Video-ChatGPT 是一个能够针对视频生成有意义对话的视频对话模型。它结合了 LLM 的能力与适应时空视频表示的预训练视觉编码器。我们也为基于视频的对话模型引入了严格的“量化评估基准”。

图像数据集的标签管理器与说明文字生成器

袖珍型多模态 AI，用于跨多语言文字、图片和视频的内容理解与生成，速度比 OpenAI CLIP 和 LLaVA 快达 5 倍

用于民主化多模态训练的完全开放框架

小型大型多模态模型框架

🔥🔥 LLaVA++：使用 Phi-3 与 LLaMA-3 扩充 LLaVA（LLaVA LLaMA-3、LLaVA Phi-3）

基于 OpenCV、YOLO 与 LLAVA 的视频监控系统。

Paddle 多模态整合与探索，支持主流多模态任务，包含端到端大型多模态预训练模型与扩散模型工具箱。具备高性能与灵活性。

视觉语言模型论文与模型的顶级前端收集与调查 GitHub 仓库。持续更新中。

👁️ + 💬 + 🎧 = 🤖 精选顶级基础与多模态模型列表！[论文 + 代码 + 示例 + 教程]

用于视觉语言模型的 ComfyUI 节点：Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。另支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 的 GGUF 以及托管式 LLM/VLM API。

LLaVA-Mini 是一个统一的大型多模态模型 (LMM)，能以高效方式支持图像、高分辨率图像及视频的理解。

AI 驱动的日常任务助手，由 Llama 3、DeepSeek R1 以及 HuggingFace 上的众多模型提供支持。