multi-modality

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 建構至 GPT-4V 級別能力及更高水平。

✨✨最新的多模態大型語言模型進展

🏄 可擴展的影像與句子嵌入、推理與排序，使用 CLIP 技術

MOSS-TTS-Nano 是 MOSI.AI 和 OpenMOSS 团队的开源多语言小型语音生成模型。仅 0.1B 参数，旨在实现实时语音生成，可直接在 CPU 上运行，无需 GPU，部署堆栈保持简单，适合本地演示、Web 服务和轻量级产品集成。

🦦 Otter，基於 OpenFlamingo（DeepMind 的 Flamingo 開源版本）的多模態模型，訓練於 MIMIC-IT，展示了改進的指令跟隨和上下文學習能力。

InternLM-XComposer2.5-OmniLive：一個全面的多模態系統，用於長期串流視頻與音頻互動

3D 物件追蹤的演算法與論文

由 VLM 支援的無解析 RAG

Long-RL：將 RL 擴展至長序列（NeurIPS 2025）

[CVPR 2025] MINIMA：模態不變影像匹配

Chatbot Arena 遇上多模態！Multi-Modality Arena 允許您在輸入影像的同時，並排評測視覺語言模型。支援 MiniGPT-4、LLaMA-Adapter V2、LLaVA、BLIP-2 等多種模型！