pretraining

从头开始、一步步在 PyTorch 中实现类似 ChatGPT 的大型语言模型

Llama中文社区，实时汇总最新Llama学习资料，构建最好的中文Llama大模型开源生态，完全开源可商用

通用技术，为 AI 能力提供 LLM 与 MLLM 支援

OFA (ICML 2022) 官方仓库。论文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl：强大的多模态大语言模型系列

HRM-Text 是一个基于 HRM 架构的 1B 文本生成模型，通过任务完成与潜在空间推理能力进行强化。

关于图神经网络 (GNN) 预训练与自监督学习的论文。

[ICLR'23 Spotlight🔥] 首次在卷积网络中成功进行 BERT/MAE 风格的预训练；「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」的 PyTorch 实现。

GraphGen：通过知识驱动的合成数据生成增强大语言模型的监督微调

Uni-Mol 系列方法的官方仓库

大规模深度递归语言模型的预训练与推理代码

【ICLR 2024🔥】通过基于语言的语义对齐将视频语言预训练扩展至 N 模态

受 awesome-computer-vision 启发，精选大模型（即 LLM/VLM）时代下与机器人领域相关的 3D 视觉论文清单，包含论文、代码及相关网站

MARS 官方实现：释放方差缩减的力量以训练大型模型

个人项目：MPP-Qwen14B & MPP-Qwen-Next（基于 Qwen-LM 的多模态流水线并行）。支持 [视频/图像/多图] {SFT/对话}。不要让贫穷限制您的想象力！在 RTX3090/4090 24GB 上训练您自己的 8B/14B LLaVA 风格 MLLM。

“Craw4LLM: Efficient Web Crawling for LLM Pretraining”官方仓库

Saprot：带有结构字母表的蛋白质语言模型（AA+3Di）

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI：图像对图像转换所需的预训练模型