roberta

Mã nguồn cho loralib, một bản cài đặt của "LoRA: Low-Rank Adaptation of Large Language Models"

Tiền huấn luyện với Whole Word Masking cho các mô hình BERT tiếng Trung (dòng BERT-wwm)

BertViz: Trực quan hóa cơ chế Attention trong các mô hình Transformer

Bộ sưu tập mô hình NLP tiếng Trung được huấn luyện trước chất lượng cao, mô hình lớn, mô hình đa phương thức và mô hình ngôn ngữ lớn

Tiêu chuẩn đánh giá hiểu ngôn ngữ tiếng Trung (Chinese Language Understanding Evaluation Benchmark): bộ dữ liệu, baseline, mô hình tiền huấn luyện, ngữ liệu và bảng xếp hạng

Framework mô hình huấn luyện trước mã nguồn mở trong PyTorch & Pre-trained Model Zoo

Các pipeline NLP gốc bằng Rust và mô hình dựa trên transformer (BERT, DistilBERT, GPT2,...)

Mô hình tiền huấn luyện RoBERTa tiếng Trung: RoBERTa for Chinese

news-please - một trình thu thập dữ liệu web và trích xuất thông tin tích hợp dành cho tin tức hoạt động mượt mà

Runtime nhanh và thân thiện với người dùng dành cho suy luận transformer (Bert, Albert, GPT2, Decoders, v.v.) trên CPU và GPU.

Framework tiền huấn luyện của Tencent trong PyTorch và Model Zoo đã được huấn luyện sẵn.

Kho ngữ liệu huấn luyện trước quy mô lớn cho tiếng Trung 100G

Bản cài đặt chính thức của các bài báo "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) và "Text Simplification by Tagging" (BEA-21)

Thư viện PyTorch chứa các mô hình Transformer được tuyển chọn và các thành phần có thể kết hợp

PhoBERT: Các mô hình ngôn ngữ được huấn luyện trước cho tiếng Việt (EMNLP-2020 Findings)

BERTweet: Mô hình ngôn ngữ được huấn luyện trước cho các Tweet tiếng Anh (EMNLP-2020)

📖 Điểm chuẩn NLU tiếng Hàn.

Một hệ thống phân loại linh hoạt, thích ứng cho phân loại văn bản động.

Happy Transformer giúp việc tinh chỉnh và thực hiện suy luận với các mô hình NLP Transformer trở nên dễ dàng.