vision-language-model

「Prismer: A Vision-Language Model with Multi-Task Experts」の実装

民主化されたマルチモーダル学習のための完全オープンなフレームワーク。

このシリーズでは、NLPとComputer Visionの基礎から最先端のVision-Language Modelsまでを詳しく解説します。

視覚的理解により、ドキュメントを AI 対応の Markdown に変換する

テキストのみのLLM向けに設計された優れたビジュアルツールボックスとスキル。マルチ画像理解、画像Q&A、フロントエンドUI復元、GUI自動化などをサポートし、複数の主要なagentへシームレスに統合可能で、クリップボードからの画像貼り付けを直接認識します｜ A vision toolkit and skill designed for text-only llms — image Q&A, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode

VLMによってサポートされる、パース処理不要のRAG

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM): オブジェクトセグメンテーションマスクとシームレスに統合された自然言語応答を生成できる、類を見ない最初のモデル

[CVPR 2024 Highlight🔥] Chat-UniVi: 画像および動画の理解能力を大規模言語モデルに付与する統合型視覚表現

CVPR 2025 の最も注目すべき影響力のある論文のキュレーションコレクション 🔥 [論文 + コード + デモ]

[CVPR 2024] Alpha-CLIP: 任意の領域に注目できる CLIP モデル

テキストモデル向けの高機能ビジュアルツールキット。インストールして無料で利用可能、画像の直接認識、複数画像のQ&A、スクリーンショットからフロントエンドUIへの復元などをサポート。

VoxPoser：言語モデルによるロボット操作のための合成可能な3Dバリューマップ

[NeurIPS 2025 Spotlight] OpenCUA: コンピュータ利用エージェントのためのオープンな基盤

🍃 MINT-1T: 1兆トークンのマルチモーダルインターリーブデータセット。

大規模モデル（LLM/VLM）時代におけるロボット工学分野に関連する3Dビジョン論文の厳選リスト。awesome-computer-visionにインスパイアされ、論文、コード、関連ウェブサイトを含む。

CLIPなどのビジョン言語モデルに向けた優れたプロンプト／アダプター学習手法のキュレーションリスト

[ICLR 2026] 「Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model」の公式実装

OmniVinci は、視覚、音声、言語を統合理解するためのオムニモーダル LLM です。

MiMo-VL

🎉 PILOT: 事前学習モデルベースの継続学習ツールボックス

VQAScore を用いた text-to-image/video/3D モデルの評価

[CVPR 2026] SpatialVID: 空間アノテーション付きの大規模ビデオデータセット

An open-weight 11B model series for long-form and real-time video understanding

[ECCV2024] 局所化されたビジュアルトークン化を備えたグラウンデッドマルチモーダル大規模言語モデル

LLaVA-Miniは、画像、高解像度画像、動画の理解を効率的にサポートする統合型の大規模マルチモーダルモデル（LMM）です。

Cambrian-S: 動画における空間的超感覚に向けて

Chatbot Arena がマルチモーダルと融合！Multi-Modality Arena では、画像を入力として提供しながら、視覚言語モデルを並行してベンチマークできます。MiniGPT-4、LLaMA-Adapter V2、LLaVA、BLIP-2 などをサポート！

Flameは、UIデザインのモックアップを高品質なReactコードに変換するために設計されたオープンソースのマルチモーダルAIシステムです。ビジョン言語モデリング、自動データ合成、構造化されたトレーニングワークフローを活用して、デザインとフロントエンド開発のギャップを埋めます。

論文「✨Counting Anything」のコードと実装ガイドライン。プロジェクトページ: https://mengqi-lei.github.io/count-anything-projectpage/