roberta

Code pour loralib, une implémentation de "LoRA : Low-Rank Adaptation of Large Language Models".

Pré-entraînement avec masquage de mots entiers (Whole Word Masking) pour le BERT chinois (série de modèles BERT-wwm).

BertViz : visualiser l'attention dans les modèles Transformer.

Collection de modèles NLP chinois pré-entraînés de haute qualité, incluant des grands modèles, des modèles multimodaux et des grands modèles de langage.

Benchmark d'évaluation de la compréhension du langage chinois : jeux de données, lignes de base, modèles pré-entraînés, corpus et classement.

Framework open source de pré-entraînement de modèles sous PyTorch et zoo de modèles pré-entraînés.

Pipelines NLP natifs en Rust prêts à l'emploi et modèles basés sur des transformers (BERT, DistilBERT, GPT2,...)

Modèle de pré-entraînement RoBERTa pour le chinois

news-please - un crawler web et extracteur d'informations pour les actualités, prêt à l'emploi

Un runtime rapide et convivial pour l'inférence de transformers (Bert, Albert, GPT2, Decoders, etc.) sur CPU et GPU.

Framework de pré-entraînement Tencent en PyTorch et zoo de modèles pré-entraînés

Corpus de pré-entraînement à grande échelle de 100 Go pour le chinois.

Implémentation officielle des articles "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) et "Text Simplification by Tagging" (BEA-21)

Une bibliothèque PyTorch de modèles Transformer sélectionnés et de leurs composants composables.

PhoBERT : modèles de langage pré-entraînés pour le vietnamien (EMNLP-2020 Findings)

BERTweet : un modèle de langage pré-entraîné pour les tweets en anglais (EMNLP-2020)

📖 Benchmark NLU en coréen

Un système de classification flexible et adaptatif pour la classification de texte dynamique

Happy Transformer facilite le réglage fin (fine-tuning) et l'inférence avec les modèles NLP Transformer.