roberta

LoRA：大型语言模型低秩适应的实现 loralib 代码

使用全词遮蔽进行中文 BERT 的预训练（中文 BERT-wwm 系列模型）

BertViz：可视化 Transformer 模型中的注意力

Awesome Pretrained Chinese NLP Models，高质量中文预训练模型、大模型、多模态模型与大语言模型集合。

中文语言理解测评基准 Chinese Language Understanding Evaluation Benchmark：数据集、基线、预训练模型、语料库与排行榜

基于 PyTorch 的开源预训练模型框架与预训练模型库

Rust 原生即用 NLP 管道与基于 transformer 的模型（BERT、DistilBERT、GPT2 等）。

RoBERTa 中文预训练模型: RoBERTa for Chinese

news-please - 一个开箱即用的新闻网页爬虫与信息提取工具

用于 CPU 与 GPU 上 transformer 推理（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的执行环境。

基于 PyTorch 的 Tencent 预训练框架与预训练模型库

中文 100G 大规模预训练语料库

论文“GECToR – Grammatical Error Correction: Tag, Not Rewrite”(BEA-20) 与“Text Simplification by Tagging”(BEA-21) 的官方实现

🤖 精选 Transformer 模型及其可组合组件的 PyTorch 库

PhoBERT：越南语预训练语言模型 (EMNLP-2020 Findings)

BERTweet：针对英文推文的预训练语言模型 (EMNLP-2020)

📖 韩语 NLU 基准测试

用于动态文本分类的灵活、自适应分类系统。

Happy Transformer 让 NLP Transformer 模型的微调与推理变得简单。