multimodal

MOSS-Audio 是一个用于统一音频理解的开源基础模型，在真实世界场景中支持语音、声音、音乐、标题生成、问答与推理。

✨✨基础模型推理最新论文与基准测试

SEED-LLaMA (ICLR 2024) 官方实现。

“Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement”项目页面

👁️ + 💬 + 🎧 = 🤖 精选顶级基础与多模态模型列表！[论文 + 代码 + 示例 + 教程]

Second Brain 是一个代理型框架，作为操作系统运作，利用本地文件智能、工作流程自动化与 LLMs 来完成任务，并透过多种模态与消息平台进行通讯。

「Blended Latent Diffusion」[SIGGRAPH 2023] 的官方实现

此存储库提供程序代码，利用 LlamaIndex、Deep Lake 和 Pinecone 建立 Generative AI 的检索增强生成（RAG）代码，并运用 OpenAI 与 Hugging Face 模型进行生成与评估。

探索 2B 模型上的多模态“Aha 时刻”

Hunyuan3D-Omni：用于 3D 资产可控生成的统一框架

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] 通过提示词实现任意标记化

用于大规模全模态后训练的异步强化学习引擎。

此仓库包含论文“MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI”的评估代码

“Blended Diffusion for Text-driven Editing of Natural Images” 官方实现 [CVPR 2022]

RAI 是一个用于物理 AI 机器人的供应商无关代理框架，利用 ROS 2 工具执行复杂动作、定义场景、自由接口执行、日志摘要、语音交互等。

使用 GPT-4 Vision 像教导人类一样建立浏览器自动化。

[ECCV2024] 具备局部视觉标记化功能的接地多模态大型语言模型

多模式路由、地理编码与地图图砖

LLaVA-Mini 是一个统一的大型多模态模型 (LMM)，能以高效方式支持图像、高分辨率图像及视频的理解。

一个具备视觉与听觉的 MCP 多模态 AI 代理！

您的应用程序自动编码系统 — 用于 React Native 的 Alan AI SDK

情境智慧平台

纯 C/C++ 的 CLIP 推理，无额外依赖。

Flame 是一个开源的多模态 AI 系统，旨在将 UI 设计稿转换为高质量的 React 代码。它利用视觉语言模型、自动化数据合成与结构化训练工作流程，缩短设计与前端开发之间的差距。

供 VLM 使用的各类产业特定架构中心。

精选多模态建模资源 [涵盖 MLLM、UMM 与 NMM]

“EVF-SAM：用于文字提示分割一切模型的早期视觉语言融合”官方代码