pretraining

Implementa un LLM similar a ChatGPT en PyTorch desde cero, paso a paso

Comunidad de Llama en chino, recopila en tiempo real los últimos materiales de estudio de Llama, construye el mejor ecosistema de código abierto para el modelo grande Llama en chino, totalmente de código abierto y comercializable

Tecnología general para habilitar capacidades de IA con LLMs y MLLMs

Repositorio oficial de OFA (ICML 2022). Artículo: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl: La potente familia de modelos de lenguaje grandes multimodales

HRM-Text es un modelo de generación de texto de 1B basado en la arquitectura HRM, reforzado con razonamiento en espacio latente y finalización de tareas.

Artículos sobre preentrenamiento y aprendizaje autosupervisado en redes neuronales de grafos (GNN).

[ICLR'23 Spotlight] El primer preentrenamiento exitoso estilo BERT/MAE en cualquier red convolucional; implementación en PyTorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling".

GraphGen: mejora del ajuste fino supervisado para LLMs mediante la generación de datos sintéticos basados en conocimiento

Repositorio oficial para los métodos de la serie Uni-Mol

Código de preentrenamiento e inferencia para un modelo de lenguaje recurrente de profundidad a gran escala

【ICLR 2024🔥】 Extensión del preentrenamiento de video-lenguaje a N-modalidades mediante alineación semántica basada en lenguaje

Una lista curada de artículos de visión 3D relacionados con el dominio de la robótica en la era de los grandes modelos, es decir, LLMs/VLMs, inspirada en awesome-computer-vision, que incluye artículos, códigos y sitios web relacionados

La implementación oficial de MARS: Unleashing the Power of Variance Reduction for Training Large Models

Proyecto personal: MPP-Qwen14B y MPP-Qwen-Next (paralelismo de tubería multimodal basado en Qwen-LM). Soporta [video/imagen/multi-imagen] {sft/conversaciones}. ¡No dejes que la pobreza limite tu imaginación! Entrena tu propio MLLM tipo LLaVA de 8B/14B en una RTX3090/4090 de 24GB.

Repositorio oficial para "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

Saprot: Modelo de lenguaje de proteínas con alfabeto estructural (AA+3Di).

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: El preentrenamiento es todo lo que necesitas para la traducción de imagen a imagen.