pre-training

"A Survey of Large Language Models" 调查论文的官方 GitHub 页面

为基础模型提供数据处理！🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

基于 PyTorch 的开源预训练模型框架与预训练模型库

上下文学习与提示词工程的精选资源：掌握 ChatGPT、GPT-3 和 FlanT5 等 LLM，提供最新且前沿的更新。

关于图神经网络 (GNN) 预训练与自监督学习的论文。

通用时间序列预测 Transformer 的统一训练

TKDE 论文“Self-supervised learning on graphs: Contrastive, generative, or predictive”的代码

一个开源的知识型 Large Language Model 框架

关于 CLIP（对比语言—图像预训练）研究的 Awesome 资源列表。

关于时间序列、时空与事件数据的超大语言模型与基础模型（LLM、LM、FM）专业清单。

基于 PyTorch 的 Tencent 预训练框架与预训练模型库

大型语言模型增强的推荐系统论文列表

ET-BERT 的仓库，这是一个加密流量的网络流量分类模型。该研究已被 The Web Conference (WWW) 2022 接受发表。

“Craw4LLM: Efficient Web Crawling for LLM Pretraining”官方仓库

[ICLR 2024] Sheared LLaMA：通过结构化剪枝加速语言模型预训练

[NeurIPS 2020] Yuning You、Tianlong Chen、Yongduo Sui、Ting Chen、Zhangyang Wang、Yang Shen 著之“Graph Contrastive Learning with Augmentations”

多模态预训练