multimodality

Cradle フレームワークは、General Computer Control (GCC) への最初の試みです。Cradle は、最小限の要件で標準化された一般環境において、強力な推論能力、自己改善、スキルキュレーションを有効にすることで、エージェントがあらゆるコンピュータタスクをこなすことをサポートします。

AIGC向けRAGの素晴らしい論文集。論文「Retrieval-Augmented Generation for AI-Generated Content: A Survey」にて、RAGの基礎、拡張、応用の分類群を提案しています。

視覚的埋め込みとテキスト的埋め込みを構造的に整合させるように設計された、新規のマルチモーダル大規模言語モデル (MLLM) アーキテクチャ

マルチモーダル推薦システムのための比較フレームワーク

「CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval」の公式実装

自動モデリングおよび機械学習フレームワーク「FEDOT」

LLM2CLIPは既存の最先端CLIPモデルを大幅に改善します。

✨✨Woodpecker: マルチモーダル大規模言語モデルのためのハルシネーション修正

論文「MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI」の評価コードを含むリポジトリ

(ECCVW 2025) GPT4RoI: 関心領域（Region-of-Interest）における大規模言語モデルのインストラクションチューニング

🔥🔥🔥 LLMベースのマルチモーダル生成（画像、動画、3D、音声）に関する厳選された論文リスト