pre-training

Trang GitHub chính thức cho bài báo khảo sát "A Survey of Large Language Models".

Xử lý dữ liệu cho và bằng foundation models! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Framework mô hình huấn luyện trước mã nguồn mở trong PyTorch & Pre-trained Model Zoo

Tài nguyên tuyệt vời cho học trong ngữ cảnh và prompt engineering: Làm chủ các LLM như ChatGPT, GPT-3 và FlanT5, với các bản cập nhật mới nhất và tiên tiến.

Các tài liệu nghiên cứu về tiền huấn luyện và học tập tự giám sát trên Mạng Nơ-ron đồ thị (GNN).

Đào tạo thống nhất các Transformer dự đoán chuỗi thời gian toàn cầu

Mã nguồn cho bài báo TKDE "Self-supervised learning on graphs: Contrastive, generative, or predictive"

Một framework mô hình ngôn ngữ lớn (LLM) mã nguồn mở có khả năng hiểu biết.

Danh sách tổng hợp các tài liệu nghiên cứu về CLIP (Contrastive Language-Image Pre-Training).

Danh sách chuyên nghiệp về Mô hình ngôn ngữ lớn và Mô hình nền tảng (LLM, LM, FM) cho Dữ liệu chuỗi thời gian, không gian thời gian và sự kiện.

Framework tiền huấn luyện của Tencent trong PyTorch và Model Zoo đã được huấn luyện sẵn.

Các bài báo nghiên cứu về hệ thống gợi ý được tăng cường bởi mô hình ngôn ngữ lớn (LLM).

Kho lưu trữ của ET-BERT, một mô hình phân loại lưu lượng mạng trên dữ liệu được mã hóa. Công trình này đã được chấp nhận tại hội nghị The Web Conference (WWW) 2022.

Kho lưu trữ chính thức cho "Craw4LLM: Thu thập dữ liệu web hiệu quả để tiền huấn luyện LLM"

[ICLR 2024] Sheared LLaMA: Tăng tốc tiền huấn luyện mô hình ngôn ngữ thông qua cắt tỉa có cấu trúc

[NeurIPS 2020] "Graph Contrastive Learning with Augmentations" bởi Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen

Tiền huấn luyện đa phương thức (Multi-modality pre-training).