roberta

Código para loralib, una implementación de "LoRA: Low-Rank Adaptation of Large Language Models"

Pre-Training with Whole Word Masking for Chinese BERT (series de modelos BERT-wwm en chino)

BertViz: Visualiza la atención en modelos Transformer

Awesome Pretrained Chinese NLP Models, colección de modelos de lenguaje preentrenados, modelos grandes y modelos multimodales en chino de alta calidad

Evaluación comparativa de comprensión del idioma chino (Chinese Language Understanding Evaluation Benchmark): conjuntos de datos, líneas de base, modelos preentrenados, corpus y tabla de clasificación

Framework de modelos de preentrenamiento de código abierto en PyTorch y repositorio de modelos preentrenados

Pipelines de PLN nativos en Rust listos para usar y modelos basados en transformers (BERT, DistilBERT, GPT2,...)

Modelo de preentrenamiento de RoBERTa en chino: RoBERTa for Chinese

news-please: un rastreador web y extractor de información integrado para noticias que simplemente funciona

Un entorno de ejecución rápido y fácil de usar para la inferencia de transformers (Bert, Albert, GPT2, Decoders, etc.) en CPU y GPU.

Marco de preentrenamiento de Tencent en PyTorch y repositorio de modelos preentrenados

Corpus de preentrenamiento a gran escala para chino de 100G

Implementación oficial de los artículos "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) y "Text Simplification by Tagging" (BEA-21).

Una biblioteca de PyTorch con modelos Transformer seleccionados y sus componentes componibles

PhoBERT: Modelos de lenguaje preentrenados para vietnamita (EMNLP-2020 Findings).

BERTweet: Un modelo de lenguaje preentrenado para tweets en inglés (EMNLP-2020)

📖 Benchmark de NLU en coreano

Un sistema de clasificación flexible y adaptable para la clasificación dinámica de texto

Happy Transformer facilita el ajuste fino y la inferencia con modelos NLP Transformer.