multimodal

テキストのみのLLM向けに設計された優れたビジュアルツールボックスとスキル。マルチ画像理解、画像Q&A、フロントエンドUI復元、GUI自動化などをサポートし、複数の主要なagentへシームレスに統合可能で、クリップボードからの画像貼り付けを直接認識します｜ A vision toolkit and skill designed for text-only llms — image Q&A, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode

アプリのためのセルフコーディングシステム — Cordova 用 Alan AI SDK

MOVA: スケーラブルで同期されたビデオ・オーディオ生成に向けて

SGLang-Omni は、TTS、ASR、音声、およびオムニモデルの高性能なサービングを実現します。

オープンマルチモーダルネイティブMoE「Aria」のコードベース

🩺 胸部 X 線画像を見ることができる初の中国語マルチモーダル医療大模型

テキストのみの DeepSeek Harness エージェント向けのビジョン機能：内蔵の無料ビジョンチェーン（キー不要）とピクセル単位のビジョンツール（Q&A、グラウンディング、クロップ、ピクセル差分、カラー、OCR、SVG トレース、切り抜き、スクリーンショット）。1 コマンドでインストール可能で Python は不要、画像処理を通常のツール呼び出しと同様に実行できます。

[ICLR'24 spotlight] 中国語と英語のマルチモーダル大規模モデルシリーズ（チャットおよびペイント）| CPM基盤モデルに基づく中英バイリンガルマルチモーダル大モデルシリーズ

ビジョン、オーディオ、言語モダリティを横断する汎用表現モデル。論文：ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[ECCV 2024 Best Paper Candidate & TPAMI 2025] PointLLM: 点群を理解できるように大規模言語モデルを拡張

「CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval」の公式実装

マルチモーダル思考連鎖推論：包括的なサーベイ

TongFlow — マルチモーダルGenAIスタジオ

ベクトル検索と LLM を使用したマルチモーダル AI、RAG、エージェントのリソース、サンプル、チュートリアル

拡散モデルおよびオムニモデル向けのマルチモーダル RL トレーニングフレームワーク

RAG Time: RAGをマスターするための5週間の学習の旅

CVPR 2025 の最も注目すべき影響力のある論文のキュレーションコレクション 🔥 [論文 + コード + デモ]

NEOシリーズ：ファースト・プリンシプルに基づくネイティブ視覚言語モデル

「AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling」のコード

⚡ FastAPI、Playwright、およびOpenAI互換のマルチモーダルモデルで構築された、セルフホスト可能なYesCaptcha互換のCAPTCHAソルバー。

シンプルで統一されたマルチモーダルモデル学習エンジン。軽量で柔軟性があり、大規模なハッキングに対応するように構築されています。

視覚分野における自己回帰モデルのサーベイ論文。

学術論文の NLP および CV 研究をサポートするライブラリ

Pytorch での対比学習によるモデルのトレーニング

ローカル監視 ＋ AI ビジョン — データ収集と分析のための構造化イベント出力を備えた、LAN ベースのスマートフォン駆動型 AI 監視フレームワーク

マルチモーダルおよび大規模言語モデルに関する論文リスト。個人的な必要性から日々のarXivで読んだ論文を記録するためのものです。

[ECCV 2024] InstructIR: 人間の指示に従う高品質な画像復元 https://huggingface.co/spaces/marcosv/InstructIR

Paddle のマルチモーダル統合および探索ツールボックス。エンドツーエンドの大規模マルチモーダル事前学習モデルや拡散モデルを含む主流のマルチモーダルタスクをサポート。高性能と柔軟性を備えています。

マルチモーダル推薦のためのツールボックス。10以上のモデルを統合...

このリポジトリには、「VLM2Vec / MMEB」[ICLR 2025]、「VLM2Vec-V2 / MMEB-V2」[TMLR 2026]、および「MMEB-V3」[COLM 2026] のコードが含まれています