pretraining

Implemente um LLM semelhante ao ChatGPT em PyTorch do zero, passo a passo

Comunidade chinesa Llama, reunindo em tempo real os materiais de estudo mais recentes sobre Llama, construindo o melhor ecossistema open source de grandes modelos Llama em chinês, totalmente aberto e comercializável.

Tecnologia geral para habilitar capacidades de IA com LLMs e MLLMs.

Repositório oficial do OFA (ICML 2022). Artigo: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl: A poderosa família de modelos de linguagem multimodal de grande escala.

HRM-Text é um modelo de geração de texto de 1B baseado na arquitetura HRM, fortalecido por conclusão de tarefas e raciocínio em espaço latente.

Artigos sobre pré-treinamento e aprendizado autossupervisionado em Graph Neural Networks (GNN).

[ICLR'23 Spotlight] O primeiro pré-treinamento bem-sucedido estilo BERT/MAE em qualquer rede convolucional; implementação em PyTorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling".

GraphGen: Aprimorando o ajuste fino supervisionado para LLMs com geração de dados sintéticos orientada por conhecimento

Repositório oficial para a série de métodos Uni-Mol

Código de pré-treinamento e inferência para um modelo de linguagem recorrente de profundidade em larga escala

【ICLR 2024🔥】 Estendendo o pré-treinamento de vídeo-linguagem para N-modalidades por alinhamento semântico baseado em linguagem

Uma lista com curadoria de artigos de visão 3D relacionados ao domínio de robótica na era de grandes modelos, como LLMs/VLMs, inspirada no awesome-computer-vision, incluindo artigos, códigos e sites relacionados

A implementação oficial do MARS: Liberando o poder da redução de variância para o treinamento de grandes modelos

Projeto Pessoal: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Paralelo Multimodal baseado em Qwen-LM). Suporta [vídeo/imagem/várias imagens] {sft/conversas}. Não deixe a pobreza limitar sua imaginação! Treine seu próprio MLLM semelhante ao LLaVA de 8B/14B em RTX3090/4090 24GB.

Repositório oficial para "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

Saprot: Modelo de Linguagem de Proteínas com Alfabeto Estrutural (AA+3Di)

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: Pré-treinamento é tudo o que você precisa para tradução de imagem para imagem