pretraining

PyTorchでChatGPTライクなLLMをゼロから段階的に実装。

Llama中国コミュニティ。最新のLlama学習資料をリアルタイムで集約し、完全オープンソースで商用利用可能な最高の中国語Llama大規模モデルエコシステムを構築。

LLMおよびMLLMによるAI機能を有効にするための一般技術

OFA (ICML 2022) の公式リポジトリ。論文: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl：強力なマルチモーダル大規模言語モデルファミリ

HRM-Textは、HRMアーキテクチャに基づく1Bのテキスト生成モデルであり、タスク完了能力と潜在空間推論によって強化されています。

グラフニューラルネットワーク（GNN）の事前学習および自己教師あり学習に関する論文集

[ICLR'23 Spotlight🔥] 任意の畳み込みネットワークにおける初のBERT/MAEスタイル事前学習の成功例。「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」のPyTorch実装

GraphGen: 知識駆動型の合成データ生成による LLM の教師ありファインチューニングの強化

Uni-Mol シリーズ手法の公式リポジトリ

大規模な深度リカレント言語モデルのための事前学習および推論コード

【ICLR 2024🔥】言語ベースのセマンティックアライメントによる、ビデオ言語事前学習のNモダリティへの拡張

大規模モデル（LLM/VLM）時代におけるロボット工学分野に関連する3Dビジョン論文の厳選リスト。awesome-computer-visionにインスパイアされ、論文、コード、関連ウェブサイトを含む。

MARS: 大規模モデルのトレーニングにおける分散削減の威力を最大限に引き出す公式実装

個人プロジェクト: MPP-Qwen14B & MPP-Qwen-Next（Qwen-LMに基づくマルチモーダルパイプライン並列化）。[動画/画像/複数画像]の{sft/会話}をサポート。貧困に想像力を制限されないようにしよう！RTX3090/4090 24GBで独自の8B/14B LLaVA形式のMLLMをトレーニング。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」の公式リポジトリ

Saprot: 構造アルファベットを持つタンパク質言語モデル (AA+3Di)

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs.

PITI: 画像間変換には事前学習のすべてが必要である