pre-training

Die offizielle GitHub-Seite für das Umfragepapier "A Survey of Large Language Models".

Datenverarbeitung für und mit Foundation Models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Open-Source-Framework für Vortrainierungsmodelle in PyTorch und Pre-trained Model Zoo

Großartige Ressourcen für In-Context-Learning und Prompt-Engineering: Beherrschung von LLMs wie ChatGPT, GPT-3 und FlanT5 mit aktuellen und wegweisenden Updates.

Forschungsarbeiten zum Vortraining und selbstüberwachten Lernen bei Graph Neural Networks (GNNs).

Einheitliches Training von universellen Time-Series-Forecasting-Transformern

Code für das TKDE-Paper „Self-supervised learning on graphs: Contrastive, generative, or predictive“

Ein Open-Source-Framework für wissensbasierte Large Language Models.

Awesome-Liste für die Forschung zu CLIP (Contrastive Language-Image Pre-Training).

Eine professionelle Liste zu Large Language Models und Foundation Models (LLM, LM, FM) für Zeitreihen-, raumbezogene und Ereignisdaten.

Tencent Pre-Training-Framework in PyTorch & Pre-trained Model Zoo

Papiere zu durch Large Language Models verbesserten Empfehlungssystemen

Das Repository von ET-BERT, einem Netzwerkverkehrs-Klassifizierungsmodell für verschlüsselten Verkehr. Die Arbeit wurde als angenommenes Paper für The Web Conference (WWW) 2022 akzeptiert.

Offizielles Repository für „Craw4LLM: Efficient Web Crawling for LLM Pretraining“

[ICLR 2024] Sheared LLaMA: Beschleunigung des Vortrainings von Sprachmodellen durch strukturiertes Pruning

[NeurIPS 2020] „Graph Contrastive Learning with Augmentations“ von Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen

Multimodales Vortraining