multimodal

✨✨基盤モデルの推論に関する最新の論文とベンチマーク

MOSS-Audio は、統合された音声理解のためのオープンソース基盤モデルであり、現実世界のシナリオにおける音声、サウンド、音楽、キャプション生成、QA、推論を可能にします。

SEED-LLaMAの公式実装（ICLR 2024）。

「Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement」のプロジェクトページ

👁️ + 💬 + 🎧 = 🤖 厳選された主要な基盤モデルおよびマルチモーダルモデルのリスト！[論文 + コード + サンプル + チュートリアル]

「Blended Latent Diffusion」の公式実装 [SIGGRAPH 2023]

Second Brain は、ローカルファイルのインテリジェンス、ワークフローの自動化、LLMを使用してタスクを完了し、複数のモダリティやメッセージングプラットフォームを介して通信を行う、オペレーティングシステムとして機能するエージェントフレームワークです。

2B Modelにおけるマルチモーダルな「アハ体験」を探求

このリポジトリは、OpenAI および Hugging Face のモデルの生成・評価能力を活用し、LlamaIndex、Deep Lake、Pinecone を使用して生成 AI 向けの検索拡張生成（RAG）コードを構築するプログラムを提供します。

Hunyuan3D-Omni: 3D アセットの制御可能な生成のための統合フレームワーク。

[ECCV 2024] プロンプトによるあらゆるもののトークン化

論文「MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI」の評価コードを含むリポジトリ

大規模オムニモーダル事後学習のための非同期強化学習エンジン

「Blended Diffusion for Text-driven Editing of Natural Images」の公式実装 [CVPR 2022]

[ECCV2024] 局所化されたビジュアルトークン化を備えたグラウンデッドマルチモーダル大規模言語モデル

GPT-4 Visionを使用して、人間に教えるかのようにブラウザ自動化を作成する

RAI は、物理 AI ロボット向けのベンダー非依存なエージェントフレームワークであり、ROS 2 ツールを活用して、複雑なアクション、定義されたシナリオ、自由なインターフェース実行、ログ要約、音声対話などを実行します。

マルチモーダルルーティング、ジオコーディング、およびマップタイル

LLaVA-Miniは、画像、高解像度画像、動画の理解を効率的にサポートする統合型の大規模マルチモーダルモデル（LMM）です。

アプリのためのセルフコーディングシステム — React Native 向け Alan AI SDK

目と耳を持つ MCP マルチモーダル AI エージェント

状況認識インテリジェンスのためのプラットフォーム

追加の依存関係なしで、プレーンな C/C++ で実装された CLIP 推論

Flameは、UIデザインのモックアップを高品質なReactコードに変換するために設計されたオープンソースのマルチモーダルAIシステムです。ビジョン言語モデリング、自動データ合成、構造化されたトレーニングワークフローを活用して、デザインとフロントエンド開発のギャップを埋めます。

VLMで使用する様々な業界特化型スキーマのハブ

素晴らしい Multimodal Modeling（MLLM、UMM、NMMを網羅）

「EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model」の公式コード