multimodal

Tree of Thoughts 的即插即用實作：使用大型語言模型的深思熟慮問題解決，提升模型推理至少 70%

精選大型語言模型、AI 繪畫等教程與資源。

輕鬆將大量圖片網址轉為圖片資料集。可下載、調整尺寸並打包 100M 網址，單機 20 小時完成

涵蓋文字、影像、影片與音訊任務的全能多模態評估工具包

Fengshenbang-LM（封神榜大模型）是 IDEA 研究院認知計算與自然語言研究中心主導的大模型開源體系，成為中文 AIGC 與認知智能的基礎設施。

MOSS‑TTS Family 是 MOSI.AI 與 OpenMOSS 團隊開源的語音與聲音生成模型族，設計用於高保真度、高表現力與複雜實際場景，涵蓋穩定長篇語音、多說話者對話、聲音/角色設計、環境音效與即時串流 TTS

OpenMMLab 預訓練工具箱與基準測試

DeepSeek Harness 的第一個視覺插件，以及每個純文字編碼代理的視覺橋接。粘貼圖片，即可獲得結構化 JSON 證據（OCR、版面、語義）。 | 全網最強 DeepSeek Harness 外掛視覺插件，為 DeepSeek、GLM 等純文本模型外掛視覺能力，粘貼圖片即得結構化 JSON 證據（OCR、版面、語義）。

SimpleMem：LLM 代理的高效終身記憶 — 文本與多模態

開源多模態檢索引擎（Morphik Core）。由 Morphik — AI 後台為專業護理與長者居住設施（morphik.ai）開發

從 Chain-of-Thought 提示到 OpenAI o1 與 DeepSeek-R1

ICML 2024 論文 NExT-GPT 的程式碼與模型，Any-to-Any 多模態大型語言模型

MTEB：跨語言與多模態嵌入的最先進評估

InternGPT (iGPT) 是一個開源演示平台，您可以輕鬆展示 AI 模型。現在支持 DragGAN、ChatGPT、ImageBind、多模態聊天如 GPT-4、SAM、互動圖像編輯等。試試 igpt.opengvlab.com（支持 DragGAN、ChatGPT、ImageBind、SAM 的線上 Demo 系統）

一個可擴充、最先進的行式壓縮框架，以及最快的開源 (FOSS) 行式檔案格式。前身為 @spiraldb，現為 Linux 基金會旗下 LFAI&Data 的孵化階段專案。

(M)LLMs 基礎架構

表示、傳送、儲存與搜尋多模態資料。

[NeurIPS 2024] OSWorld：在真實電腦環境中評測開放式任務的多模態 Agent。

🤖 針對 TypeScript 的型別安全、供應商無關 AI SDK，支援流式聊天、工具呼叫、代理、以及跨 OpenAI、Anthropic、Gemini、React、Vue、Svelte、Solid 的多模態應用

InternLM-XComposer2.5-OmniLive：一個全面的多模態系統，用於長期串流視頻與音頻互動

非結構化資料的 Context 層：基於 S3、GCS、Azure 的具型別、具版本控制資料集

輕鬆計算 clip embeddings 並使用它們建立 clip 檢索系統

無需標註即可進行推論的圖片集（使用基礎模型來訓練監督式模型）。

簡化多模態模型的微調流程：PaliGemma 2、Florence-2 和 Qwen2.5-VL

[EMNLP-2024] 建立適用於快速原型與生產的多模態語言代理程式

生成式 AI 的完整資源，包含詳細的路線圖、專案、使用案例、面試準備和程式碼練習。

OFA (ICML 2022) 官方儲存庫。論文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl：強大的多模態大型語言模型系列

茴香豆：基於 LLM 技術協助克服群聊情境

(ෆ`꒳´ෆ) 文本到影像生成/合成綜述。