instruction-tuning

PyTorchでChatGPTライクなLLMをゼロから段階的に実装。

100以上のLLMおよびVLMの統一的効率的なファインチューニング (ACL 2024)

[NeurIPS'23 Oral] GPT-4Vレベルの能力、さらにはそれを超えることを目指したVisual Instruction Tuning (LLaVA)。

:sparkles::sparkles:マルチモーダル大規模言語モデルの最新の進歩

サーベイ論文「A Survey of Large Language Models」の公式GitHubページ。

基盤モデルのための、そして基盤モデルを使ったデータ処理！ 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

ICML 2024論文「NExT-GPT: Any-to-Any Multimodal Large Language Model」のコードとモデル。

【EMNLP 2024🔥】Video-LLaVA: Learning United Visual Representation by Alignment Before Projection

PromptやLLMに関する論文のまとめ、オープンソースのデータとモデル、AIGCアプリケーション。

🦦 Otter。OpenFlamingo（DeepMindのFlamingoのオープンソース版）をベースにしたマルチモーダルモデルで、MIMIC-ITでトレーニングされ、指示追従能力とコンテキスト内学習能力が向上しています。

InternLM-XComposer2.5-OmniLive：長期的なストリーミング映像と音声のインタラクションを実現する包括的なマルチモーダルシステム。

mPLUG-Owl：強力なマルチモーダル大規模言語モデルファミリ

[ECCV2024] マルチモーダル理解のためのビデオ基盤モデルとデータ

Cambrian-1 は、ビジョン中心の設計を採用したマルチモーダル LLM のファミリーです。

事後学習および構造化データ抽出のための合成データキュレーション。

オープンソースの知識豊富な大規模言語モデルフレームワーク。

指示追従型 LLM（ChatGPT、LLaMA、Alpaca）の訓練用オープンソースデータセット集

DataDreamer: プロンプト。合成データの生成。モデルのトレーニングとアライメント。

マルチモーダル思考連鎖推論：包括的なサーベイ

[ICML2024 (Oral)] DoRA: Weight-Decomposed Low-Rank Adaptation の公式 PyTorch 実装

[SIGIR'2024] "GraphGPT: Graph Instruction Tuning for Large Language Models"

Generative Representational Instruction Tuning

Emotion-LLaMA: 指示チューニングを用いたマルチモーダル感情認識と推論

Deita: アライメントのためのデータ効率の高い指示チューニング [ICLR2024]

マルチタスク ファインチューニングを通じたクロスリンガル汎化

[ICML 2024] LESS：ターゲットを絞ったインストラクションチューニングのための影響力のあるデータの選択

DialogStudio: 対話型 AI のための、最も豊かで多様な統合データセットコレクションおよび指示認識型モデルの構築に向けて

指示チューニングおよび指示追従に関する論文とデータセット。✨✨✨