vlm

NVIDIA 视频搜索与摘要 (VSS) AI Blueprint 是一个 GPU 加速的参考架构，用于构建具备实时验证警报、可视化问答与自动化报告功能的视频分析代理程序。VSS Blueprint 采用如 NVIDIA Cosmos 等视觉语言模型 (VLM)、如 NVIDIA Nemotron 等 LLM、RAG 以及 NVIDIA NIM。

OpenGUI 是一个用于手机端 AI 的 Android GUI 代理框架，可以通过 GUI 查看、规划并操作真实的手机应用程序。

🚀🚀🚀 一些优秀的公开 YOLO 对象检测系列项目与相关对象检测数据集的集合。

借助 ExecuTorch 在 React Native 设备端以声明式方式运行 AI 模型。

为提升易用性、完整性与效率而设计的模型压缩工具包。

Awesome-Jailbreak-on-LLMs 是关于 LLM 的最新、新颖、精彩越狱方法集合。包含论文、代码、数据集、评估与分析。

使用 VLM 进行摄像头监控

通过计算图转换（例如自动微分）实现快速的飞机设计优化。包含适用于空气动力学、推进、结构、轨迹设计等多种可组合的分析工具。

包含 155 种以上 VLM/MLLM 架构的精选视觉化目录：包含论文、图表、训练配方、数据集，以及多模态 AI 代理的发布时间轴。

JoyCaption 是一个从头构建的图像标注视觉语言模型 (VLM)，作为供社区免费、开源且无审查的模型，用于训练扩散模型。

一个开源的端到端 VLM 基础 GUI Agent

InternRobotics 用于构建通用导航基础模型的开放平台。

一系列轻量级多模态模型。

🚀 针对 LLM/VLM 的 PyTorch 分布式原生训练库，开箱即用支持 Hugging Face

MindSpore + 🤗Huggingface：在 MindSpore 上运行任何 Transformers/Diffusers 模型，具备无缝兼容性与加速功能。

【新增智能体模式】安卓端全场景 GPT 助手，可用音量键唤起并进行语音交流，支持联网、拍照、模板、附件解析、智能体模式等

NEO 系列：从第一性原理构建的原生视觉语言模型

UniWorld：用于统一视觉理解与生成的高分辨率语义编码器

开源的 SOTA 多图编辑模型

先进世界模型的统一代码库

“LLM × DATA”调查论文的官方仓库

受 awesome-computer-vision 启发，精选大模型（即 LLM/VLM）时代下与机器人领域相关的 3D 视觉论文清单，包含论文、代码及相关网站

生产级 C++ 边缘 AI 引擎，适用于 Sophon、Rockchip RKNN 与 x86 平台的视频分析与设备端 VLM，具备视觉编排、实时 OSD、事件处理与可重现的基准测试。

🚀🚀🚀 收集一些关于大型语言模型（LLM）、视觉语言模型（VLM）、视觉语言动作（VLA）、AI 生成内容（AIGC）以及相关数据集与应用的优秀公开项目。

MobileGym：用于 Mobile GUI Agent 研究的可验证高并发模拟平台 · 浏览器里运行的安卓模拟器 · Browser-hosted Android Simulator · 可验证评估 · 可扩展的线上 RL 训练

[CVPR 2026🔥] 🧑‍🎨 OmniLottie，一个开源的多模态指令式矢量动画生成器，可输出 Lottie JSON。

Dingo：一个全面的 AI 数据、模型与应用程序质量评估工具

[CVPR 2024 🔥] GeoChat，首个针对遥感的落地大型视觉语言模型

[ECCV 2026] SparkVSR：通过稀疏关键帧传播的交互式视频超分辨率

此仓库包含“VLM2Vec / MMEB”[ICLR 2025]、“VLM2Vec-V2 / MMEB-V2”[TMLR 2026] 以及“MMEB-V3”[COLM 2026] 的代码