pre-training

La página oficial de GitHub para el artículo de revisión "A Survey of Large Language Models".

¡Procesamiento de datos para y con modelos fundamentales! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

Framework de modelos de preentrenamiento de código abierto en PyTorch y repositorio de modelos preentrenados

Recursos increíbles para aprendizaje en contexto e ingeniería de prompts: dominio de LLMs como ChatGPT, GPT-3 y FlanT5, con actualizaciones recientes y de vanguardia.

Artículos sobre preentrenamiento y aprendizaje autosupervisado en redes neuronales de grafos (GNN).

Entrenamiento unificado de Transformers para la predicción universal de series temporales.

Código para el artículo de TKDE "Aprendizaje autosupervisado en grafos: contrastivo, generativo o predictivo"

Un framework de código abierto para modelos de lenguaje extenso con base de conocimientos.

Lista de recursos seleccionados para la investigación sobre CLIP (Contrastive Language-Image Pre-Training).

Una lista profesional sobre modelos de lenguaje grandes (LLM) y modelos fundacionales (LM, FM) para series temporales, datos espaciotemporales y datos de eventos.

Marco de preentrenamiento de Tencent en PyTorch y repositorio de modelos preentrenados

Artículos sobre sistemas de recomendación mejorados con modelos de lenguaje de gran tamaño (LLM).

Repositorio de ET-BERT, un modelo de clasificación de tráfico de red para tráfico cifrado. Trabajo aceptado en The Web Conference (WWW) 2022.

Repositorio oficial para "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

[ICLR 2024] Sheared LLaMA: Aceleración del preentrenamiento de modelos de lenguaje mediante poda estructurada

[NeurIPS 2020] "Graph Contrastive Learning with Augmentations" por Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen

Pre-entrenamiento multimodal.