pre-training

Página oficial do GitHub para o artigo de revisão "A Survey of Large Language Models".

Processamento de dados para e com modelos de fundação! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Framework de pré-treinamento de modelos de código aberto em PyTorch e repositório de modelos pré-treinados.

Recursos incríveis para in-context learning e engenharia de prompt: Domínio de LLMs como ChatGPT, GPT-3 e FlanT5, com atualizações recentes e de ponta.

Artigos sobre pré-treinamento e aprendizado autossupervisionado em Graph Neural Networks (GNN).

Treinamento unificado de Transformers para previsão de séries temporais universais.

Código para o artigo do TKDE "Self-supervised learning on graphs: Contrastive, generative, or predictive".

Um framework de Large Language Model com base de conhecimento de código aberto.

Lista incrível para pesquisa sobre CLIP (Contrastive Language-Image Pre-Training).

Uma lista profissional sobre Grandes Modelos de Linguagem e Modelos de Fundação (LLM, LM, FM) para Séries Temporais, Espaciotemporais e Dados de Eventos.

Framework de pré-treinamento da Tencent em PyTorch & Model Zoo pré-treinado

Artigos sobre Sistemas de Recomendação aprimorados por Modelos de Grande Linguagem (LLM)

O repositório do ET-BERT, um modelo de classificação de tráfego de rede em tráfego criptografado. O trabalho foi aceito como artigo na The Web Conference (WWW) 2022.

Repositório oficial para "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

[ICLR 2024] Sheared LLaMA: Acelerando o pré-treinamento de modelos de linguagem por meio de poda estruturada

[NeurIPS 2020] "Graph Contrastive Learning with Augmentations" por Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen

Pré-treinamento multimodal