multimodal

用于与 stability.ai API 交互的 SDK（例如 stable diffusion 推理）。

mPLUG-DocOwl：用于文档理解的模块化多模态大语言模型

[ECCV2024] 用于多模态理解的视频基础模型与数据

🎨 NeMo Data Designer：从头开始或从种子数据生成高质量的合成数据。

GenAI Processors 是一个轻量级的 Python 库，可实现高效、并行的内容处理。

让 Claude（或任何 LLM）真正观看视频——支持从网址或本地文件获取具场景感知、去除重复帧与文字记录的功能。本地运行，采用 MIT 授权。

具备类似 GPT-Live 功能的设备端实时多模态 AI

[ICLR & NeurIPS 2025] Show-o 系列存储库，统一多模态理解与生成的单一 Transformer。

阿里巴巴开源的 Qwen-VL 系列微调开源实现。

在 pytorch 中实现“BitNet: Scaling 1-bit Transformers for Large Language Models”

朝向高级文学机器（Advanced Literate Machinery）的原创创新点子与算法集合。本项目由阿里巴巴集团通义实验室语言技术实验室 OCR 团队维护。

使用 TikZ 为科学图表和草图合成绘图程序。

为你的应用程序打造的自我编码系统 — 适用于 Android 的 Alan AI SDK

应用程序的自我编码系统 — 用于 Flutter 的 Alan AI SDK

应用程序的自我编码系统 — 适用于 Ionic 的 Alan AI SDK

用于 AI 数据应用的统一多模态后端

移动设备上的快速多模态 LLM

借助视觉语言模型（VLM），从复杂文档中获取干净的数据 ⚡

一种新颖的多模态大型语言模型（MLLM）架构，旨在结构化对齐视觉与文字嵌入。

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

你家的视觉智能。

日本語LLM总结 - 日本语LLM概览

此存储库是手写生成中分离书写者与字符风格（CVPR 2023）的官方实现

用于艺术、实时语音对话、LLM 驱动的聊天机器人与自动化工作流程的离线推理引擎

包含 155 种以上 VLM/MLLM 架构的精选视觉化目录：包含论文、图表、训练配方、数据集，以及多模态 AI 代理的发布时间轴。

赋予 Claude 观看与理解视频的能力 — 具有帧提取与多模态语音分析的 Claude Code 外挂程序

袖珍型多模态 AI，用于跨多语言文字、图片和视频的内容理解与生成，速度比 OpenAI CLIP 和 LLaVA 快达 5 倍

Xtreme1 是一个用于多模态数据训练的一体化数据标注平台，支持 3D LiDAR 点云、图像和 LLM。

结合语言模型统一 3D 网格生成

通过视觉理解将文档转换为具备 AI 处理能力的 Markdown