multi-modality

[NeurIPS'23 Oral] GPT-4Vレベルの能力、さらにはそれを超えることを目指したVisual Instruction Tuning (LLaVA)。

:sparkles::sparkles:マルチモーダル大規模言語モデルの最新の進歩

🏄 CLIPを用いた画像と文章のスケーラブルな埋め込み、推論、ランキング。

MOSS-TTS-Nanoは、MOSI.AIとOpenMOSSチームによるオープンソースの多言語軽量音声生成モデルです。わずか0.1Bのパラメータで、リアルタイム音声生成向けに設計されており、GPUなしでCPU単体で動作可能であり、ローカルデモ、Webサービス、軽量な製品統合に適したシンプルなデプロイメントスタックを維持しています。

🦦 Otter。OpenFlamingo（DeepMindのFlamingoのオープンソース版）をベースにしたマルチモーダルモデルで、MIMIC-ITでトレーニングされ、指示追従能力とコンテキスト内学習能力が向上しています。

InternLM-XComposer2.5-OmniLive：長期的なストリーミング映像と音声のインタラクションを実現する包括的なマルチモーダルシステム。

3D オブジェクト追跡に関するアルゴリズムと論文。

VLMによってサポートされる、パース処理不要のRAG

Long-RL：強化学習の長シーケンスへのスケーリング（NeurIPS 2025）

[CVPR 2025] MINIMA: モダリティ不変画像マッチング

Chatbot Arena がマルチモーダルと融合！Multi-Modality Arena では、画像を入力として提供しながら、視覚言語モデルを並行してベンチマークできます。MiniGPT-4、LLaMA-Adapter V2、LLaVA、BLIP-2 などをサポート！