mllm

タスク、言語、モダリティを横断する大規模な自己教師あり事前学習

Agent S: 人間のようにコンピューターを使用するオープンなエージェンティックフレームワーク

Mobile-Agent: 強力なGUIエージェントファミリー

[NeurIPS 2025] SpatialLM: 構造化屋内モデリングのための大規模言語モデルのトレーニング。

[CVPR'25] 論文の公式実装 - MagicQuill: インテリジェントな対話型画像編集システム

Chain-of-ThoughtプロンプティングからOpenAI o1、DeepSeek-R1まで 🍓

ICML 2024論文「NExT-GPT: Any-to-Any Multimodal Large Language Model」のコードとモデル。

Eagle: データ中心戦略を採用した最先端のVision-Language Models

InternLM-XComposer2.5-OmniLive：長期的なストリーミング映像と音声のインタラクションを実現する包括的なマルチモーダルシステム。

mPLUG-DocOwl: 文書理解のためのモジュール式マルチモーダル大規模言語モデル

Cambrian-1 は、ビジョン中心の設計を採用したマルチモーダル LLM のファミリーです。

🚀🚀🚀 優れた公開YOLO物体検出シリーズプロジェクトと関連する物体検出データセットのコレクション

Pixel-LLMコードベースの公式リポジトリ：Sa2VA (T-PAMI-26)、SAMTok (CVPR-26)、VRT (Arxiv-25)、SaSaSa2VA (LSVOS第1位ソリューション)

[CVPR2026] Next Point PredictionによるDetect Anything

155種類以上のビジョン・言語モデル（VLM/MLLM）アーキテクチャのキュレーションされたビジュアルカタログ：論文、図解、学習レシピ、データセット、マルチモーダルAIエージェントのリリース年表。

民主化されたマルチモーダル学習のための完全オープンなフレームワーク。

軽量なマルチモーダルモデルのファミリー。

OpenEMMAは、WaymoのEMMAモデルの寛大なライセンスに基づくオープンソースの「再現」です。

NEOシリーズ：ファースト・プリンシプルに基づくネイティブ視覚言語モデル

[NeurIPS' 2025] JarvisArt: インテリジェントな写真レタッチエージェントによる人間の芸術的創造性の解放

[CVPR2024] 「Osprey: Pixel Understanding with Visual Instruction Tuning」のコード

「FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving」の公式実装 (NeurIPS 2025 スポットライト採択)

[NeurIPS 2025] 4KAgent: Agentic Any Image to 4K Super-Resolution. あらゆる画像を完璧な4Kに復元できるインテリジェントなコンピュータービジョンエージェント

🚀🚀🚀 大規模言語モデル（LLM）、視覚言語モデル（VLM）、視覚言語行動モデル（VLA）、AI生成コンテンツ（AIGC）、および関連するデータセットやアプリケーションに関する素晴らしい公開プロジェクトのコレクション。

シーングラフの生成と応用に関する論文をまとめたリポジトリです。

個人プロジェクト: MPP-Qwen14B & MPP-Qwen-Next（Qwen-LMに基づくマルチモーダルパイプライン並列化）。[動画/画像/複数画像]の{sft/会話}をサポート。貧困に想像力を制限されないようにしよう！RTX3090/4090 24GBで独自の8B/14B LLaVA形式のMLLMをトレーニング。

統一されたマルチモーダル生成としてのビジョン

✨✨Woodpecker: マルチモーダル大規模言語モデルのためのハルシネーション修正

[ICLR 2025] FakeShield: マルチモーダル大規模言語モデルを用いた説明可能な画像改ざん検出とローカライゼーション

Emotion-LLaMA: 指示チューニングを用いたマルチモーダル感情認識と推論