multimodal-large-language-models

:sparkles::sparkles:マルチモーダル大規模言語モデルの最新の進歩

Mobile-Agent: 強力なGUIエージェントファミリー

StarVectorは、ベクター化をコード生成タスクに変換するSVG生成のための基盤モデルです。ビジョン・言語モデリングアーキテクチャを使用し、StarVectorは視覚的およびテキストの入力を処理することで、驚異的な精度で高品質なSVGコードを生成します。

LLaMA-Omni は、Llama-3.1-8B-Instruct を基に構築された低レイテンシかつ高品質なエンドツーエンドの音声インタラクションモデルで、GPT-4o レベルの音声機能の実現を目指しています。

CV モデルと mLLM をベースにしたクロスプラットフォームの動画構造化（動画分析）フレームワーク

✨✨[NeurIPS 2025] VITA-1.5：GPT-4oレベルのリアルタイム視覚・音声インタラクションに向けて

mPLUG-DocOwl: 文書理解のためのモジュール式マルチモーダル大規模言語モデル

Cambrian-1 は、ビジョン中心の設計を採用したマルチモーダル LLM のファミリーです。

[ICML 2024] テキストから画像への拡散モデルの習得：マルチモーダルLLMによる再キャプション、プランニング、生成 (RPG)

汎用マルチモーダル理解と推論の発展を目的として設計されたビジョン言語基盤モデル Seed1.5-VL。60の公開ベンチマークのうち38で最先端のパフォーマンスを達成。

視覚的埋め込みとテキスト的埋め込みを構造的に整合させるように設計された、新規のマルチモーダル大規模言語モデル (MLLM) アーキテクチャ

素晴らしい統合マルチモーダルモデルの一覧

リアルタイム音声対話型デジタルヒューマン。外見や音声のカスタマイズ、音声クローンに対応し、初期応答遅延は 3 秒未満。

Audio Flamingo の PyTorch 実装：高度な音声理解言語モデルのシリーズ

大規模言語モデルを用いた音声、言語、オーディオ、音楽処理のためのフレームワーク

軽量なマルチモーダルモデルのファミリー。

マルチモーダル思考連鎖推論：包括的なサーベイ

医用画像におけるマルチモーダル学習の応用に関するリソース集。

NEOシリーズ：ファースト・プリンシプルに基づくネイティブ視覚言語モデル

✨✨[CVPR 2025] Video-MME：動画分析におけるマルチモーダルLLMの初の包括的評価ベンチマーク

LLaVA-Plus: スキルの利用方法をプラグインして学習する大規模言語およびビジョンアシスタント

[CVPR 2024] MovieChat: 長い動画理解のための高密度トークンからスパースメモリへの変換

大規模視覚表現モデル

個人プロジェクト: MPP-Qwen14B & MPP-Qwen-Next（Qwen-LMに基づくマルチモーダルパイプライン並列化）。[動画/画像/複数画像]の{sft/会話}をサポート。貧困に想像力を制限されないようにしよう！RTX3090/4090 24GBで独自の8B/14B LLaVA形式のMLLMをトレーニング。

OmniVinci は、視覚、音声、言語を統合理解するためのオムニモーダル LLM です。

✨✨Woodpecker: マルチモーダル大規模言語モデルのためのハルシネーション修正

（IJCV 採択）Liquid：スケーラブルで統合されたマルチモーダルジェネレータとしての言語モデル

LLaVA-Miniは、画像、高解像度画像、動画の理解を効率的にサポートする統合型の大規模マルチモーダルモデル（LMM）です。

NeurIPS 2024 論文: 理解、生成、セグメンテーション、編集のための統合ピクセルレベル Vision LLM

Cambrian-S: 動画における空間的超感覚に向けて