gpt2

BertViz：可视化 Transformer 模型中的注意力

中文 NLP 解决方案（大模型、数据、模型、训练、推理）

RoBERTa 中文预训练模型: RoBERTa for Chinese

用于 CPU 与 GPU 上 transformer 推理（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的执行环境。

TextGen：文本生成模型实现，包含 LLaMA、BLOOM、GPT2、BART、T5、SongNet 等。提供文本生成模型的训练与预测，开箱即用。

Adan：用于加速优化深度模型的自适应 Nesterov 动量算法