vision-language-model

[NeurIPS'23 Oral] GPT-4Vレベルの能力、さらにはそれを超えることを目指したVisual Instruction Tuning (LLaVA)。

X-AnyLabeling: テキスト、画像、動画、マルチモーダルデータをアノテーションするための軽量で効率的かつ統一されたクロスプラットフォームデスクトップアプリケーション。多機能な内蔵ツールと最先端のAIモデルを組み合わせ、柔軟なマルチフォーマットエクスポートに対応。

[CVPR 2024 Oral] InternVL Family: GPT-4oに匹敵する画期的なオープンソース代替モデル。GPT-4oの性能に迫るオープンソースのマルチモーダル対話モデル。

65MパラメータのVLMをゼロからわずか2時間でトレーニング！

Alibaba Cloudが提案するQwen-VL（通义千问-VL）のチャットおよび事前学習済み大規模ビジョン言語モデルの公式リポジトリ。

MineContextは、プロアクティブなコンテキスト認識AIパートナーです（Context-Engineering + ChatGPT Pulse）。

MLX-VLMは、MLXを使用してMac上でVision Language Models (VLMs) の推論とファインチューニングを行うためのパッケージです。

Align Anything: フィードバックを用いた全モダリティモデルのトレーニング。

テキスト、画像、ビデオ、オーディオタスクを網羅するオールインワンのマルチモーダル評価ツールキット

DeepSeek-VL: 実世界におけるビジョン・言語理解へ

Linear Attentionに基づく大規模言語モデルおよび視覚言語モデル、MiniMax-Text-01とMiniMax-VL-01の公式リポジトリ

「Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models」の公式リポジトリ

視覚タスク向けの優れた Vision-Language モデルのコレクション

オフライン AI のスイスアーミーナイフ。スマホや Mac でチャット、視覚認識、音声対話、画像生成が可能 — GGUF LLM、ビジョン、Whisper 音声認識、Stable Diffusion、ツール呼び出し、ローカルネットワークサーバーに対応。CPU、GPU、NPU で動作。アカウント不要、API キー不要、データがデバイス外に出ることは一切ありません。

InternLM-XComposer2.5-OmniLive：長期的なストリーミング映像と音声のインタラクションを実現する包括的なマルチモーダルシステム。

ColPali、ColQwen2、ColSmol などの ColVision モデルのトレーニングおよび推論実行に使用されるコード

Cradle フレームワークは、General Computer Control (GCC) への最初の試みです。Cradle は、最小限の要件で標準化された一般環境において、強力な推論能力、自己改善、スキルキュレーションを有効にすることで、エージェントがあらゆるコンピュータタスクをこなすことをサポートします。

Alibaba Cloud の Qwen-VL シリーズを微調整（ファインチューニング）するためのオープンソース実装

[CVPR 2025] GUI エージェントおよび Computer Use 向けのオープンソースなエンドツーエンド Vision-Language-Action モデル。

自動運転向けLLM/VLM/VLA/ワールドモデル（LLM4AD）に関する厳選されたリソースリスト（随時更新）

動画検索および要約（VSS）向けのNVIDIA AI Blueprintは、リアルタイムの検証済みアラート、視覚的Q&A、自動レポート機能を備えた動画解析エージェントを構築するためのGPUアクセラレーテッド・リファレンスアーキテクチャです。VSS Blueprintは、NVIDIA Cosmosなどのビジョン言語モデル（VLM）、NVIDIA NemotronなどのLLM、RAG、およびNVIDIA NIMを使用します。

Advanced Literate Machinery に向けた独創的で革新的なアイデアとアルゴリズムのコレクション。このプロジェクトは Alibaba Group 達摩院言語技術ラボ OCR チームによって維持されています。

汎用マルチモーダル理解と推論の発展を目的として設計されたビジョン言語基盤モデル Seed1.5-VL。60の公開ベンチマークのうち38で最先端のパフォーマンスを達成。

Apple Silicon 向けの高性能な OpenAI および Anthropic 互換 LLM 推論サーバー。ネイティブ MLX、連続バッチ処理、マルチモーダルモデル、MCP ツール呼び出し、Claude Code をサポート。

ビジョン言語モデルを活用し、複雑なドキュメントからクリーンなデータを抽出する ⚡

[ICCV 2025] Describe Anything の実装: 詳細な局所化画像および動画キャプション生成

視覚的埋め込みとテキスト的埋め込みを構造的に整合させるように設計された、新規のマルチモーダル大規模言語モデル (MLLM) アーキテクチャ

日本語LLMまとめ - 日本語LLMの概要

Apple Silicon 搭載 Mac で LLM をファインチューニング。MLX 上でネイティブ動作する SFT、DPO、GRPO、Vision、TTS、STT、Embedding、OCR のファインチューニング対応。Unsloth 互換 API。

素晴らしい統合マルチモーダルモデルの一覧