roberta

Código para loralib, uma implementação de "LoRA: Low-Rank Adaptation of Large Language Models"

Pré-treinamento com Whole Word Masking para BERT chinês (série de modelos BERT-wwm em chinês).

BertViz: Visualize a atenção em modelos Transformer

Awesome Pretrained Chinese NLP Models: uma coleção de modelos de pré-treinamento, grandes modelos, modelos multimodais e grandes modelos de linguagem em chinês de alta qualidade.

Benchmark de Avaliação de Compreensão da Língua Chinesa (CLUE): datasets, baselines, modelos pré-treinados, corpus e placar de líderes

Framework de pré-treinamento de modelos de código aberto em PyTorch e repositório de modelos pré-treinados.

Pipelines de PLN nativos em Rust prontos para uso e modelos baseados em transformer (BERT, DistilBERT, GPT2,...)

Modelo de pré-treinamento RoBERTa em chinês: RoBERTa for Chinese

news-please - um crawler web integrado e extrator de informações para notícias que simplesmente funciona

Um runtime rápido e amigável para inferência de transformers (Bert, Albert, GPT2, Decoders, etc) em CPU e GPU.

Framework de pré-treinamento da Tencent em PyTorch & Model Zoo pré-treinado

Corpus de pré-treinamento em larga escala para chinês de 100G 中文预训练语料

Implementação oficial dos artigos "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) e "Text Simplification by Tagging" (BEA-21)

Uma biblioteca PyTorch de modelos Transformer selecionados e seus componentes combináveis

PhoBERT: Modelos de linguagem pré-treinados para vietnamita (EMNLP-2020 Findings)

BERTweet: Um modelo de linguagem pré-treinado para Tweets em inglês (EMNLP-2020)

📖 Benchmark de NLU em Coreano

Um sistema de classificação flexível e adaptativo para classificação de texto dinâmico

O Happy Transformer facilita o ajuste fino e a execução de inferência com modelos NLP Transformer.