llava

[NeurIPS'23 Oral] GPT-4Vレベルの能力、さらにはそれを超えることを目指したVisual Instruction Tuning (LLaVA)。

SUPIRは、実環境におけるフォトリアリスティックな画像復元のための実用的なアルゴリズムの開発を目指しています。新しいオンラインデモはsuppixel.aiでも公開されています。

MLX-VLMは、MLXを使用してMac上でVision Language Models (VLMs) の推論とファインチューニングを行うためのパッケージです。

大規模マルチモーダルモデル (LMMs) のオープンソース評価ツールキット。220以上のLMM、80以上のベンチマークをサポート。

中国語NLPソリューション（大規模モデル、データ、モデル、トレーニング、推論）

LLM (🦙LLaMA/LLaVA) をローカルデバイスで効率的に実行するためのC#/.NETライブラリ。

Eagle: データ中心戦略を採用した最先端のVision-Language Models

[EMNLP-2024] 高速なプロトタイプ作成と本番環境向けマルチモーダル言語エージェントの構築。

[ACL 2024 🔥] Video-ChatGPT は、動画について意味のある対話を生成できる動画対話モデルです。LLM の機能と、時空間動画表現に適応させた事前学習済みビジュアルエンコーダーを組み合わせています。また、動画ベースの対話モデル向けの厳格な「定量評価ベンチマーク」も導入しています。

画像データセット向けのタグマネージャーおよびキャプションツール

多言語のテキスト、画像、動画を対象としたコンテンツ理解と生成のためのポケットサイズマルチモーダルAI。OpenAI CLIPやLLaVAと比較して最大5倍高速

民主化されたマルチモーダル学習のための完全オープンなフレームワーク。

小規模の大規模マルチモーダルモデルのためのフレームワーク

🔥🔥 LLaVA++: LLaVA を Phi-3 および LLaMA-3 で拡張 (LLaVA LLaMA-3, LLaVA Phi-3)

OpenCV、YOLO、LLAVAを活用したビデオ監視システム

Paddle のマルチモーダル統合および探索ツールボックス。エンドツーエンドの大規模マルチモーダル事前学習モデルや拡散モデルを含む主流のマルチモーダルタスクをサポート。高性能と柔軟性を備えています。

ビジョン・言語モデル（VLM）の論文とモデルに関する包括的なコレクションおよび調査のGitHubリポジトリ。随時更新。

👁️ + 💬 + 🎧 = 🤖 厳選された主要な基盤モデルおよびマルチモーダルモデルのリスト！[論文 + コード + サンプル + チュートリアル]

視覚言語モデル（Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V）用のComfyUIノード。さらに、オープン語彙検出、SAM2/SAM3セグメンテーション、動画の時間的推論、llama.cppによるGGUF、ホスト型LLM/VLM APIに対応。

LLaVA-Miniは、画像、高解像度画像、動画の理解を効率的にサポートする統合型の大規模マルチモーダルモデル（LMM）です。

日常のタスクを支援するAI搭載アシスタント。Llama 3、DeepSeek R1、およびHuggingFace上のその他の多くのモデルを活用