roberta

LoRA：大型語言模型低秩適應的實作 loralib 程式碼

使用全詞遮蔽進行中文 BERT 的預訓練（中文 BERT-wwm 系列模型）

BertViz：可視化 Transformer 模型中的注意力

Awesome Pretrained Chinese NLP Models，高品質中文預訓練模型、 大模型、多模態模型與大語言模型集合。

中文語言理解測評基準 Chinese Language Understanding Evaluation Benchmark：資料集、基線、預訓練模型、語料庫與排行榜

基於 PyTorch 的開源預訓練模型框架與預訓練模型庫

Rust 原生即用 NLP 管道與基於 transformer 的模型（BERT、DistilBERT、GPT2 等）。

RoBERTa 中文預訓練模型: RoBERTa for Chinese

news-please - 一個開箱即用的新聞網頁爬蟲與資訊擷取工具

用於 CPU 與 GPU 上 transformer 推論（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的執行環境。

基於 PyTorch 的 Tencent 預訓練框架與預訓練模型庫

中文 100G 大規模預訓練語料庫

論文「GECToR – Grammatical Error Correction: Tag, Not Rewrite」(BEA-20) 與「Text Simplification by Tagging」(BEA-21) 的官方實作

🤖 精選 Transformer 模型及其可組合元件的 PyTorch 函式庫

PhoBERT：越南語預訓練語言模型 (EMNLP-2020 Findings)

BERTweet：針對英文推文的預訓練語言模型 (EMNLP-2020)

📖 韓語 NLU 基準測試

用於動態文字分類的靈活、自適應分類系統。

Happy Transformer 讓 NLP Transformer 模型的微調與推論變得簡單。