multi-modal

VLMによってサポートされる、パース処理不要のRAG

FarmVibes.AI: 農業と持続可能性のためのマルチモーダル地理空間 ML モデル

【ICLR 2024🔥】言語ベースのセマンティックアライメントによる、ビデオ言語事前学習のNモダリティへの拡張

ColPali などの遅延インタラクション・マルチモーダルモデルをわずか数行のコードで使用できます。

[CVPR 2026🔥] 🧑‍🎨 OmniLottie は、Lottie JSON を生成する、オープンソースのマルチモーダル指示型ベクターアニメーション生成器です。

機械学習のトレーニングに最適化されたマルチモーダル OCR パイプライン（テキスト、図、数式、表、ダイアグラム）

統合制御可能な視覚生成モデル

[ICCV 2025 & ICCV 2025 RIWM 優秀論文賞] Aether：幾何学を考慮した統合ワールドモデル

RT-2 の民主化：「RT-2: 視覚と言語をアクションに変換する新しいモデル」

FashionCLIP は、ファッションドメイン向けに微調整された CLIP ライクなモデルです。

マルチモデル DAG 駆動型並列 AI 映像生成 — シーンの独立性に応じて並列高速化がスケールします。シーンを1つずつではなく同時に生成します。「把影视生成的执行图从拓扑序变成关键路径最优调度」；シーンの物語依存関係を DAG としてモデル化し、CPM アルゴリズムによって並列スケジュールを駆動する唯一の映像生成エンジン

[AAAI 2026 Oral] Robust-R1 の公式実装：ロバストな視覚理解のための劣化認識型推論