pre-training

Page GitHub officielle de l'article de synthèse A Survey of Large Language Models

Traitement de données pour et avec des modèles de fondation !

Framework open source de pré-entraînement de modèles sous PyTorch et zoo de modèles pré-entraînés.

Ressources incontournables pour l'apprentissage en contexte et le prompt engineering : maîtrise des LLM tels que ChatGPT, GPT-3 et FlanT5, avec des mises à jour récentes et de pointe.

Articles sur le pré-entraînement et l'apprentissage auto-supervisé sur les réseaux de neurones sur graphes (GNN).

Entraînement unifié de Transformers pour la prévision de séries temporelles universelles.

Code pour l'article TKDE "Self-supervised learning on graphs: Contrastive, generative, or predictive".

Un framework open source pour modèles de langage étendus (LLM) basés sur la connaissance.

Liste de ressources pour la recherche sur CLIP (Contrastive Language-Image Pre-Training).

Une liste professionnelle sur les grands modèles de langage (LLM) et les modèles de fondation (LM, FM) pour les séries temporelles, les données spatio-temporelles et les données d'événements.

Framework de pré-entraînement Tencent en PyTorch et zoo de modèles pré-entraînés

Articles de recherche sur les systèmes de recommandation améliorés par les grands modèles de langage (LLM).

Le dépôt d'ET-BERT, un modèle de classification du trafic réseau sur le trafic chiffré. Le travail a été accepté comme article à The Web Conference (WWW) 2022

Dépôt officiel pour "Craw4LLM: Crawling web efficace pour le pré-entraînement des LLM"

[ICLR 2024] Sheared LLaMA : accélération du pré-entraînement des modèles de langage par élagage structuré

[NeurIPS 2020] "Apprentissage contrastif de graphes avec des augmentations" par Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen

Pré-entraînement multimodal