pre-training

"A Survey of Large Language Models" 설문 논문을 위한 공식 GitHub 페이지

파운데이션 모델을 위한, 그리고 모델과 함께하는 데이터 처리! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

PyTorch 기반의 오픈소스 사전 학습 모델 프레임워크 및 사전 학습 모델 모음

인컨텍스트 러닝 및 프롬프트 엔지니어링을 위한 유용한 자료 모음: 최신 및 최첨단 업데이트를 통해 ChatGPT, GPT-3, FlanT5 등 LLM 마스터하기

그래프 신경망(GNN)의 사전 학습 및 자기 지도 학습 관련 논문 모음

범용 시계열 예측 트랜스포머의 통합 훈련

TKDE 논문 "Self-supervised learning on graphs: Contrastive, generative, or predictive" 코드

오픈소스 지식 기반 대형 언어 모델 프레임워크

CLIP (Contrastive Language-Image Pre-Training) 연구를 위한 유용한 리스트

시계열, 시공간 및 이벤트 데이터를 위한 대형 언어 모델 및 파운데이션 모델(LLM, LM, FM) 관련 전문 자료 목록입니다.

PyTorch 기반 텐센트 사전 학습 프레임워크 및 사전 학습된 모델 모음

거대 언어 모델(LLM) 강화 추천 시스템 논문 모음

암호화된 트래픽에 대한 네트워크 트래픽 분류 모델인 ET-BERT의 저장소입니다. 이 연구는 The Web Conference (WWW) 2022 논문으로 채택되었습니다.

LLM 사전 학습을 위한 효율적인 웹 크롤링 도구 Craw4LLM 공식 저장소

[ICLR 2024] Sheared LLaMA: 구조적 프루닝을 통한 언어 모델 사전 학습 가속화

[NeurIPS 2020] Yuning You 외 저, "Graph Contrastive Learning with Augmentations"

멀티모달 사전 학습