vision-and-language

生成AIの研究アップデート、面接リソース、ノートブックなどを網羅したワンストップリポジトリ！

LAVIS - 言語・視覚知能のためのオールインワンライブラリ

マルチモーダルモデル（PaliGemma 2、Florence-2、Qwen2.5-VL）のファインチューニングプロセスを効率化する

[EMNLP-2024] 高速なプロトタイプ作成と本番環境向けマルチモーダル言語エージェントの構築。

ICML 2021（口頭発表）の論文コード: "ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision"

日本語LLMまとめ - 日本語LLMの概要

リアルタイムかつ高精度なオープンボキャブラリーのエンドツーエンド物体検出。

「Prismer: A Vision-Language Model with Multi-Task Experts」の実装

オープンマルチモーダルネイティブMoE「Aria」のコードベース

ビジョン、オーディオ、言語モダリティを横断する汎用表現モデル。論文：ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[ECCV 2024 Best Paper Candidate & TPAMI 2025] PointLLM: 点群を理解できるように大規模言語モデルを拡張

[ICML2024 (Oral)] DoRA: Weight-Decomposed Low-Rank Adaptation の公式 PyTorch 実装

長期的なロボット操作タスクのための言語条件付きポリシー学習用ベンチマーク「CALVIN」

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM): オブジェクトセグメンテーションマスクとシームレスに統合された自然言語応答を生成できる、類を見ない最初のモデル

CVPR 2025 の最も注目すべき影響力のある論文のキュレーションコレクション 🔥 [論文 + コード + デモ]

[CVPR 2024] Alpha-CLIP: 任意の領域に注目できる CLIP モデル

CVPR 2024 の最もエキサイティングで影響力のある論文を厳選したコレクション。🔥 [論文 + コード + デモ]

実世界のパノラマ画像からの強化学習用AIリサーチプラットフォーム

このリポジトリは、最もエキサイティングで影響力のある CVPR 2023 の論文を厳選したコレクションです。🔥 [論文 + コード]

オンライン試験監視の自動モニタリング用ソフトウェアの作成

Vision-and-Language Navigationに関する厳選されたリソースリスト。ACL 2022の論文「Vision-and-Language Navigation: A Survey of Tasks, Methods, and Future Directions」に関連

ビジョンと言語に関する厳選された優れたリソースのリスト（現在構築中... お楽しみに！）

このリポジトリには、サーベイ論文「A Systematic Survey of Prompt Engineering on Vision-Language Foundation Models」でまとめられた関連論文がリストされています。