vision-language

[ECCV 2024] 論文「Grounding DINO: DINOとGrounded Pre-Trainingを組み合わせたオープンセット物体検出」の公式実装

中国語のCLIP版。中国語のクロスモーダル検索と表現生成を実現。

OFA (ICML 2022) の公式リポジトリ。論文: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

Alibaba Cloud の Qwen-VL シリーズを微調整（ファインチューニング）するためのオープンソース実装

Advanced Literate Machinery に向けた独創的で革新的なアイデアとアルゴリズムのコレクション。このプロジェクトは Alibaba Group 達摩院言語技術ラボ OCR チームによって維持されています。

[ACL 2024 🔥] Video-ChatGPT は、動画について意味のある対話を生成できる動画対話モデルです。LLM の機能と、時空間動画表現に適応させた事前学習済みビジュアルエンコーダーを組み合わせています。また、動画ベースの対話モデル向けの厳格な「定量評価ベンチマーク」も導入しています。

日本語LLMまとめ - 日本語LLMの概要

[ECCV 2024 Oral] DriveLM: グラフ視覚的質問応答による自動運転

ビジョン、オーディオ、言語モダリティを横断する汎用表現モデル。論文：ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

小規模の大規模マルチモーダルモデルのためのフレームワーク

長期的なロボット操作タスクのための言語条件付きポリシー学習用ベンチマーク「CALVIN」

[CVPR 2024] Alpha-CLIP: 任意の領域に注目できる CLIP モデル

「Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection」のサードパーティ実装です。

🔥🔥 LLaVA++: LLaVA を Phi-3 および LLaMA-3 で拡張 (LLaVA LLaMA-3, LLaVA Phi-3)

[ICLR 2024] 汎用画像復元の為の Vision-Language Model の制御。NTIRE 2024 Restore Any Image Model in the Wild Challenge にて 5 位入賞。

SEED-LLaMAの公式実装（ICLR 2024）。

An open-weight 11B model series for long-form and real-time video understanding

🛰️ 論文「RemoteCLIP: A Vision Language Foundation Model for Remote Sensing」の公式リポジトリ (IEEE TGRS)