multimodal

停止租用你的智能。使用 AnythingLLM 拥有它。一切你需要的强大本地优先代理体验

《深入理解 AI Agent：设计原理与工程实践》（李博杰 著）开源主仓库：全书正文、编译版 PDF 与按章配套代码

开源多模态 AI 代理堆栈：连接最前沿的 AI 模型与代理基础设施

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 构建至 GPT-4V 级别能力及更高水平。

跨任务、语言和模态的大规模自监督预训练

☁️ 使用云原生堆栈构建多模态 AI 应用

YC (S26) | 开放电脑历史 | 本地持续录制屏幕并为您的代理（Claude、Codex、Openclaw、Hermes、Runner…）提供上下文信息

Janus-Series：统一的多模态理解与生成模型

使用 PEFT 或 Full-parameter 对 600+ LLM（Qwen3.6、DeepSeek-V4、GLM-5.1、InternLM3、Llama4、...）和 300+ MLLM（Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM4.5v、Gemma4、Llava、Phi4、...）进行 CPT/SFT/DPO/GRPO（AAAI 2025）

可视化、查询与流式处理，用于训练多模态机器人数据

🔍 大模型应用开发实战一：RAG 技术全栈指南，在线阅读地址：https://datawhalechina.github.io/all-in-rag/

可在本机运行 AI 的生产就绪工具包

一个 Python 库，用于在表格、时间序列、图形、文字、图像与音频数据上进行异常检测。提供 60 多种检测器、基于基准测试的 ADEngine 编排，以及支持 AI 代理的工作流。

网页解析的终点，像素原生搜索的起点。 link: https://pixelrag.ai/

SeaTunnel 是一款多模式、高性能、分布式、大规模数据集成工具。

Deeplake 是为代理设计的 AI 数据运行时。它提供无服务器的 Postgres 与多模态数据湖，实现可扩展的检索和训练。

Mobile-Agent：功能强大的 GUI 代理系列

最简便的 AI 应用与模型服务方式 ─ 构建模型推理 API、作业队列、LLM 应用、多模型流水线等

一个基于 Apple MLX 框架的文字转语音（TTS）、语音转文字（STT）与语音转语音（STS）库，提供在 Apple Silicon 上高效的语音分析。

高效模型推理框架，支持全模态模型

此仓库是关于人工智慧（AI）的各种课程与资源的精选链接集合

用于在 JavaScript、Go、Dart 和 Python 中构建代理式应用的开源框架，由 Google 在生产环境中构建和使用

软件工程师快速了解新 AI 发展的笔记。作为 https://latent.space 写作和产品构思的数据存储，并在 /Resources 文件夹下整理了规范引用

使用强化式 VLM 解决视觉理解问题。

可视化的代理工作流游乐场：让代理迭代速度提升 10 倍

高性能数据引擎，适用于 AI 与多模态工作负载。可在任何规模下处理图像、音频、视频和结构化数据

低代码 MCP 框架，用于构建复杂且创新的 RAG 流水线

Facebook AI Research (FAIR) 的视觉与语言多模态研究模块化框架。

为超大型 MoE 模型打造的下一代训练引擎

Align Anything：使用反馈训练全模态模型