multimodal

Tree of Thoughts 的即插即用实现：使用大型语言模型的深思熟虑问题解决，提升模型推理至少 70%

精选大型语言模型、AI 绘画等教程与资源。

轻松将大量图片网址转为图片数据集。可下载、调整尺寸并打包 100M 网址，单机 20 小时完成

涵盖文本、图像、视频和音频任务的全能多模态评估工具包

Fengshenbang-LM（封神榜大模型）是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，成为中文 AIGC 与认知智能的基础设施。

MOSS‑TTS Family 是 MOSI.AI 与 OpenMOSS 团队开源的语音与声音生成模型族，设计用于高保真度、高表现力与复杂实际场景，涵盖稳定长篇语音、多说话者对话、声音/角色设计、环境音效与实时串流 TTS

OpenMMLab 预训练工具箱与基准测试

DeepSeek Harness 的第一个视觉插件，以及每个纯文字编码代理的视觉桥接。粘贴图片，即可获得结构化 JSON 证据（OCR、版面、语义）。 | 全网最强 DeepSeek Harness 外挂视觉插件，为 DeepSeek、GLM 等纯文本模型外挂视觉能力，粘贴图片即得结构化 JSON 证据（OCR、版面、语义）。

SimpleMem：LLM 代理的高效终身记忆 — 文本与多模态

开源多模态检索引擎（Morphik Core）。由 Morphik — AI 后台为专业护理与长者居住设施（morphik.ai）开发

从 Chain-of-Thought 提示到 OpenAI o1 与 DeepSeek-R1

ICML 2024 论文 NExT-GPT 的代码与模型，Any-to-Any 多模态大型语言模型

MTEB：跨语言与多模态嵌入的最先进评估

InternGPT (iGPT) 是一个开源演示平台，您可以轻松展示 AI 模型。现在支持 DragGAN、ChatGPT、ImageBind、多模态聊天如 GPT-4、SAM、互动图像编辑等。试试 igpt.opengvlab.com（支持 DragGAN、ChatGPT、ImageBind、SAM 的线上 Demo 系统）

一个可扩展、最先进的列式压缩框架，以及最快的开源 (FOSS) 列式文件格式。前身为 @spiraldb，现为 Linux 基金会旗下 LFAI&Data 的孵化阶段项目。

(M)LLMs 基础架构

表示、传送、存储与搜索多模态数据。

[NeurIPS 2024] OSWorld：在真实电脑环境中评测开放式任务的多模态 Agent。

🤖 针对 TypeScript 的类型安全、供应商无关 AI SDK，支持流式聊天、工具调用、代理、以及跨 OpenAI、Anthropic、Gemini、React、Vue、Svelte、Solid 的多模态应用

InternLM-XComposer2.5-OmniLive：一个全面的多模态系统，用于长期串流视频与音频互动

非结构化数据的 Context 层：基于 S3、GCS、Azure 的类型化、版本化数据集

轻松计算 clip embeddings 并使用它们构建 clip 检索系统

无需标注即可进行推理的图片集（使用基础模型来训练监督式模型）。

简化多模态模型的微调流程：PaliGemma 2、Florence-2 和 Qwen2.5-VL

[EMNLP-2024] 构建适用于快速原型与生产的多模态语言代理

生成式 AI 的完整资源，包含详细的路线图、项目、使用案例、面试准备和代码练习。

OFA (ICML 2022) 官方仓库。论文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl：强大的多模态大语言模型系列

茴香豆：基于 LLM 技术协助克服群聊场景

(ෆ`꒳´ෆ) 文本到图像生成/合成综述。