pre-training

"A Survey of Large Language Models" 调查论文的官方 GitHub 页面

為基礎模型提供資料處理！🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

基於 PyTorch 的開源預訓練模型框架與預訓練模型庫

上下文學習與提示詞工程的精選資源：掌握 ChatGPT、GPT-3 和 FlanT5 等 LLM，提供最新且前沿的更新。

關於圖神經網路 (GNN) 預訓練與自監督學習的論文。

通用時間序列預測 Transformer 的統一訓練

TKDE 論文「Self-supervised learning on graphs: Contrastive, generative, or predictive」的程式碼

一個開源的知識型 Large Language Model 框架

關於 CLIP（對比語言—圖像預訓練）研究的 Awesome 資源列表。

關於時間序列、時空與事件資料的大型語言模型與基礎模型（LLM、LM、FM）專業清單。

基於 PyTorch 的 Tencent 預訓練框架與預訓練模型庫

大型語言模型增強的推薦系統論文列表

ET-BERT 的儲存庫，這是一個加密流量的網路流量分類模型。該研究已被 The Web Conference (WWW) 2022 接受發表。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」官方儲存庫

[ICLR 2024] Sheared LLaMA：透過結構化剪枝加速語言模型預訓練

[NeurIPS 2020] Yuning You、Tianlong Chen、Yongduo Sui、Ting Chen、Zhangyang Wang、Yang Shen 著之「Graph Contrastive Learning with Augmentations」

多模態預訓練