multi-modal

构建与运行可视、可理解且可信赖的代理。

口袋大小的 MLLM，在手机上实现超高效的图像和视频理解

开源框架，用于对话式语音 AI 代理

[CVPR 2024 Oral] InternVL Family：一个先驱性的开源替代 GPT-4o 的多模态对话模型，接近 GPT-4o 的表现

ModelScope：将模型即服务（Model-as-a-Service）的概念落地。

AI 套件，结合最先进模型提供高级 AI/AGI 功能，包含 AI 人格、AGI 功能、Beam 多模型聊天、文字转图像、语音、响应流、代码高亮与执行、PDF 导入、开发者预设等，支持本地或云端部署。

为基础模型提供数据处理！🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

最先进的开放视觉语言模型 | 多模态预训练模型

开源的 OpenStreetMap 路由引擎

中文版本的 CLIP，实现中文跨模态检索与表征生成。

在 Pytorch 中实现 / 复制 DALL‑E，OpenAI 的文字转图像 Transformer。

Ecommerce 搜索与发现平台 - marqo.ai

[EMNLP 2022] 用于知识图谱提取与构建的开源工具包

开源大型多模态模型评估工具包，支持220+ LMMs与80+基准测试

OmniGen：统一图像生成。 https://arxiv.org/pdf/2409.11340

中英双语多模态对话语言模型 | 多模态中英双语对话语言模型

C#/.NET 函式库，可在本机装置高效执行 LLM（🦙LLaMA/LLaVA）

【EMNLP 2024🔥】Video-LLaVA：通过投影前对齐学习统一视觉表示

开源 AI 助手生态系统，含 MCP 集成、多模态工作流程、IoT 支持与跨平台语音交互

表示、传送、存储与搜索多模态数据。

“LISA: Reasoning Segmentation via Large Language Model”项目页面。

基于 Llama3-8B 的 GPT4V 级别开源多模态模型

【TMM 2025🔥】大型视觉语言模型的混合专家模型 (Mixture-of-Experts)

推荐、广告与搜索领域的工业界经典与最新前沿论文集合。

[NeurIPS 2023] MotionGPT：将人体动作视为外语，使用 LLM 的统一动作语言生成模型

一个为 Discord 设计的强大一体化 GPT 界面。支持 ChatGPT 风格对话、图片生成、AI 审核、自定义索引／知识库、YouTube 摘要等功能！

SALMONN 系列：一套先进的多模态 LLM

[pip install medmnist] 用于 2D 与 3D 生物医学图像分类的 18 个标准化数据集

MetaAI 的 Transfusion Pytorch 实现，“使用一个多模态模型预测下一个 Token 并扩散图像”

此存储库收集了“Large Language Model 知识蒸馏调查”的相关论文。我们将知识蒸馏（KD）拆解为知识引出与蒸馏算法，并探讨 LLM 的技能与垂直蒸馏。