multi-modal

構建與執行可視、可理解且可信賴的代理。

口袋大小的 MLLM，於手機上實現超高效的影像與影片理解

開源的對話式語音 AI 代理框架

[CVPR 2024 Oral] InternVL Family：一個先驅性的開源替代 GPT-4o 的多模態對話模型，接近 GPT-4o 的表現

ModelScope：將模型即服務（Model-as-a-Service）的概念落實。

AI 套件，結合最先進模型提供高階 AI/AGI 功能，包含 AI 人格、AGI 功能、Beam 多模型聊天、文字轉圖像、語音、回應串流、程式碼高亮與執行、PDF 匯入、開發者預設等，支援本地或雲端部署。

為基礎模型提供資料處理！🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

最先進的開放視覺語言模型 | 多模態預訓練模型

開源的 OpenStreetMap 路由引擎

中文版本的 CLIP，實現中文跨模態檢索與表徵生成。

在 Pytorch 中實作 / 重新實作 DALL‑E，OpenAI 的文字轉圖像 Transformer。

Ecommerce 搜尋與發現平台 - marqo.ai

[EMNLP 2022] 用於知識圖譜提取與構建的開源工具包

開源大型多模態模型評估工具包，支援220+ LMMs與80+基準測試

OmniGen：統一圖像生成。 https://arxiv.org/pdf/2409.11340

中英雙語多模態對話語言模型 | 多模態中英雙語對話語言模型

C#/.NET 函式庫，可在本機裝置高效執行 LLM（🦙LLaMA/LLaVA）

【EMNLP 2024🔥】Video-LLaVA：透過投影前對齊學習統一視覺表示

開源 AI 助手生態系，含 MCP 整合、多模態工作流程、IoT 支援與跨平台語音互動

表示、傳送、儲存與搜尋多模態資料。

「LISA: Reasoning Segmentation via Large Language Model」專案頁面。

基於 Llama3-8B 的 GPT4V 級別開源多模態模型

【TMM 2025🔥】大型視覺語言模型的混合專家模型 (Mixture-of-Experts)

推薦、廣告與搜尋領域的工業界經典與最新前沿論文集合。

[NeurIPS 2023] MotionGPT：將人類動作視為外國語言，使用 LLM 的統一動作語言生成模型

一個為 Discord 設計的強大一體化 GPT 介面。支援 ChatGPT 風格對話、圖片生成、AI 審核、自訂索引／知識庫、YouTube 摘要等功能！

SALMONN 系列：一套先進的多模態 LLM

[pip install medmnist] 用於 2D 與 3D 生物醫學影像分類的 18 個標準化資料集

MetaAI 的 Transfusion Pytorch 實作，「使用一個多模態模型預測下一個 Token 並擴散影像」

此儲存庫收集了「Large Language Model 知識蒸餾調查」的相關論文。我們將知識蒸餾（KD）拆解為知識引出與蒸餾演算法，並探討 LLM 的技能與垂直蒸餾。