pre-training

サーベイ論文「A Survey of Large Language Models」の公式GitHubページ。

基盤モデルのための、そして基盤モデルを使ったデータ処理！ 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

PyTorchベースのオープンソース事前学習モデルフレームワークおよびモデルのコレクション

インコンテキスト学習とプロンプトエンジニアリングに関する優れたリソース：ChatGPT、GPT-3、FlanT5 などの LLM の習得、最新かつ最先端のアップデートを含む。

グラフニューラルネットワーク（GNN）の事前学習および自己教師あり学習に関する論文集

汎用時系列予測Transformerの統合トレーニング

TKDE の論文「Self-supervised learning on graphs: Contrastive, generative, or predictive」のコード

オープンソースの知識豊富な大規模言語モデルフレームワーク。

CLIP (Contrastive Language-Image Pre-Training) の研究に関する素晴らしいリスト

時系列、時空間、イベントデータ向けの大規模言語モデル（LLM）および基盤モデル（LM、FM）に関する専門的なリスト

PyTorch における Tencent の事前学習フレームワークおよび事前学習済みモデルのコレクション

大規模言語モデル（LLM）で拡張された推薦システムに関する論文集

暗号化トラフィックのネットワークトラフィック分類モデル、ET-BERT のリポジトリ。The Web Conference (WWW) 2022 に採択された論文です。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」の公式リポジトリ

[ICLR 2024] Sheared LLaMA: 構造化プルーニングによる言語モデル事前学習の高速化

[NeurIPS 2020] Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen による「Graph Contrastive Learning with Augmentations」

マルチモーダル事前学習