pretraining

從頭開始、一步步在 PyTorch 中實作類似 ChatGPT 的大型語言模型

Llama中文社区，实时汇总最新Llama学习资料，构建最好的中文Llama大模型开源生态，完全开源可商用

通用技術，為 AI 能力提供 LLM 與 MLLM 支援

OFA (ICML 2022) 官方儲存庫。論文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl：強大的多模態大型語言模型系列

HRM-Text 是一個基於 HRM 架構的 1B 文字生成模型，透過任務完成與潛在空間推理能力進行強化。

關於圖神經網路 (GNN) 預訓練與自監督學習的論文。

[ICLR'23 Spotlight🔥] 首次在卷積網路中成功進行 BERT/MAE 風格的預訓練；「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」的 PyTorch 實作。

GraphGen：透過知識驅動的合成資料生成增強大型語言模型的監督微調

Uni-Mol 系列方法的官方儲存庫

大規模深度遞歸語言模型的預訓練與推論程式碼

【ICLR 2024🔥】透過基於語言的語意對齊將視訊語言預訓練擴展至 N 模態

受 awesome-computer-vision 啟發，精選大模型（即 LLM/VLM）時代下與機器人領域相關的 3D 視覺論文清單，包含論文、程式碼及相關網站

MARS 官方實作：釋放變異數縮減的力量以訓練大型模型

個人專案：MPP-Qwen14B & MPP-Qwen-Next（基於 Qwen-LM 的多模態管線並行）。支援 [影片/圖片/多圖] {微調/對話}。別讓貧窮限制您的想像力！在 RTX3090/4090 24GB 上訓練您自己的 8B/14B LLaVA 風格 MLLM。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」官方儲存庫

Saprot：帶有結構字母表的蛋白質語言模型（AA+3Di）

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI：影像對影像轉換所需的預訓練模型