instruction-tuning

Implémentez un LLM similaire à ChatGPT en PyTorch, de zéro, étape par étape

Fine-tuning efficace et unifié de plus de 100 LLM et VLM (ACL 2024).

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) conçu pour atteindre et dépasser les capacités de GPT-4V

Dernières avancées sur les modèles de langage multimodaux (MLLM)

Page GitHub officielle de l'article de synthèse A Survey of Large Language Models

Traitement de données pour et avec des modèles de fondation !

Code et modèles pour l'article ICML 2024, NExT-GPT : un modèle de langage multimodal Any-to-Any.

[EMNLP 2024🔥] Video-LLaVA : Apprentissage d'une représentation visuelle unifiée par alignement avant projection

Résumé des articles sur les Prompts et les LLM, données et modèles open source, applications AIGC

Otter, un modèle multimodal basé sur OpenFlamingo (version open source du Flamingo de DeepMind), entraîné sur MIMIC-IT, offrant de meilleures capacités de suivi d'instructions et d'apprentissage en contexte.

InternLM-XComposer2.5-OmniLive : un système multimodal complet pour les interactions vidéo et audio en streaming à long terme.

mPLUG-Owl : La puissante famille de modèles de langage multimodaux.

[ECCV2024] Modèles de fondation vidéo et données pour la compréhension multimodale.

Cambrian-1 est une famille de LLM multimodaux avec une conception centrée sur la vision.

Curation de données synthétiques pour le post-entraînement et l'extraction de données structurées.

Un framework open source pour modèles de langage étendus (LLM) basés sur la connaissance.

Une collection de jeux de données open source pour entraîner des LLM suivant des instructions (ChatGPT, LLaMA, Alpaca)

DataDreamer : Créer des prompts, générer des données synthétiques, entraîner et aligner des modèles.

Raisonnement multimodal par chaîne de pensée : une étude complète

[ICML2024 (Oral)] Implémentation PyTorch officielle de DoRA : Weight-Decomposed Low-Rank Adaptation.

[SIGIR'2024] "GraphGPT : réglage d'instructions par graphes pour les grands modèles de langage"

Ajustement d'instructions représentationnelles génératives

Emotion-LLaMA : Reconnaissance et raisonnement émotionnels multimodaux avec réglage par instructions

Deita : Réglage d'instructions efficace en données pour l'alignement [ICLR2024]

Généralisation cross-lingue via le fine-tuning multitâche

[ICML 2024] LESS : Sélection de données influentes pour un réglage d'instructions ciblé

DialogStudio : Vers la collection de jeux de données unifiés la plus riche et la plus diverse, et des modèles conscients des instructions pour l'IA conversationnelle

Articles et jeux de données sur le réglage par instructions (Instruction Tuning) et le suivi d'instructions.