multi-modality

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) 构建至 GPT-4V 级别能力及更高水平。

✨✨最新的多模态大型语言模型进展

🏄 可扩展的图像与句子嵌入、推理与排序，使用 CLIP 技术

MOSS-TTS-Nano 是 MOSI.AI 和 OpenMOSS 团队的开源多语言小型语音生成模型。仅 0.1B 参数，旨在实现实时语音生成，可直接在 CPU 上运行，无需 GPU，部署堆栈保持简单，适合本地演示、Web 服务和轻量级产品集成。

🦦 Otter，基于 OpenFlamingo（DeepMind 的 Flamingo 开源版本）的多模态模型，训练于 MIMIC-IT，展示了改进的指令跟随和上下文学习能力。

InternLM-XComposer2.5-OmniLive：一个全面的多模态系统，用于长期串流视频与音频互动

3D 物体追踪的算法与论文

由 VLM 支持的无解析 RAG

Long-RL：将 RL 扩展至长序列（NeurIPS 2025）

[CVPR 2025] MINIMA：模态不变图像匹配

Chatbot Arena 遇上多模态！Multi-Modality Arena 允许您在输入图像的同时，并排评测视觉语言模型。支持 MiniGPT-4、LLaMA-Adapter V2、LLaVA、BLIP-2 等多种模型！