pretraining

Implémentez un LLM similaire à ChatGPT en PyTorch, de zéro, étape par étape

Communauté chinoise Llama, regroupant en temps réel les dernières ressources d'apprentissage Llama, construisant le meilleur écosystème open source pour le grand modèle Llama en chinois, entièrement open source et commercialisable.

Technologie générale pour activer les capacités d'IA avec des LLM et des MLLM.

Dépôt officiel d'OFA (ICML 2022). Article : OFA : Unifier les architectures, les tâches et les modalités via un framework d'apprentissage séquence-à-séquence simple.

mPLUG-Owl : La puissante famille de modèles de langage multimodaux.

HRM-Text est un modèle de génération de texte de 1 milliard de paramètres basé sur l'architecture HRM, renforcé par l'exécution de tâches et le raisonnement dans l'espace latent.

Articles sur le pré-entraînement et l'apprentissage auto-supervisé sur les réseaux de neurones sur graphes (GNN).

[ICLR'23 Spotlight🔥] Le premier pré-entraînement réussi de type BERT/MAE sur un réseau convolutionnel ; implémentation PyTorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"

GraphGen : Amélioration du fine-tuning supervisé pour les LLM grâce à la génération de données synthétiques basées sur les connaissances

Dépôt officiel pour les méthodes de la série Uni-Mol

Code de pré-entraînement et d'inférence pour un modèle de langage récurrent en profondeur à grande échelle.

[ICLR 2024🔥] Extension du pré-entraînement vidéo-langage à la N-modalité par alignement sémantique basé sur le langage

Une liste organisée d'articles sur la vision 3D liés au domaine de la robotique à l'ère des grands modèles (LLM/VLM), inspirée par awesome-computer-vision, incluant des articles, des codes et des sites web associés.

L'implémentation officielle de MARS: Unleashing the Power of Variance Reduction for Training Large Models

Projet personnel : MPP-Qwen14B & MPP-Qwen-Next (Pipeline multimodal parallèle basé sur Qwen-LM). Support [video/image/multi-image] {sft/conversations}. Ne laissez pas la pauvreté limiter votre imagination ! Entraînez votre propre MLLM similaire à LLaVA-training sur 8B/14B en utilisant RTX3090/4090 24GB.

Dépôt officiel pour "Craw4LLM: Crawling web efficace pour le pré-entraînement des LLM"

Saprot : modèle de langage protéique avec alphabet structurel (AA+3Di)

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI : Le pré-entraînement est tout ce dont vous avez besoin pour la traduction image vers image.