bert

Corpus de pré-entraînement à grande échelle de 100 Go pour le chinois.

Tutoriel complet sur les algorithmes, du NLP aux LLM. Lecture en ligne : https://datawhalechina.github.io/base-llm/

SPLADE : recherche neuronale creuse (SIGIR21, SIGIR22)

Construction d'un système de dialogue en chinois basé sur la dernière version de Rasa

TextGen : Implémentation de modèles de génération de texte, incluant LLaMA, BLOOM, GPT2, BART, T5, SongNet et plus encore.

Implémentation officielle des articles "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) et "Text Simplification by Tagging" (BEA-21)

Modèles de type Transformer, de BERT à GPT-4, et environnements, de Hugging Face à OpenAI. Exemples de fine-tuning, d'entraînement et de prompt engineering. Une section bonus incluant ChatGPT, GPT-3.5-turbo, GPT-4 et DALL-E, avec des guides pour démarrer avec GPT-4, la conversion parole-texte, texte-parole, la génération d'images avec DALL-E, Google Cloud AI, HuggingGPT, et plus encore.

Une bibliothèque PyTorch de modèles Transformer sélectionnés et de leurs composants composables.

Modèles BERT pré-entraînés en portugais

Dépôt GitHub contenant des tutoriels pour le fine-tuning de modèles transformers sur diverses tâches de NLP.

PhoBERT : modèles de langage pré-entraînés pour le vietnamien (EMNLP-2020 Findings)

Classification de texte multi-étiquettes, classifieur, BERT, seq2seq, attention, multi-label-classification

Correspondance floue, regroupement et évaluation de chaînes de caractères.

KG-BERT : BERT pour la complétion de graphes de connaissances

PatrickStar permet de créer des modèles pré-entraînés pour le NLP plus grands, plus rapides et plus écologiques, tout en démocratisant l'IA pour tous.

Implémentation PyTorch de JointBERT : BERT pour la classification d'intention conjointe et le remplissage d'emplacements.

Le dépôt de référence pour la recherche et le développement de pointe en matière de réponse aux questions multilingues.

LLM-PowerHouse : Libérez le potentiel des LLM grâce à des tutoriels sélectionnés, des meilleures pratiques et du code prêt à l'emploi pour l'entraînement et l'inférence personnalisés.

Implémentation simple du modèle OpenAI CLIP en PyTorch.

Réexamen des modèles pré-entraînés pour le traitement automatique du langage naturel en chinois (MacBERT)

Awesome-LLM-Eval : une liste organisée d'outils, de jeux de données/benchmarks, de démos, de classements, d'articles, de documentation et de modèles, principalement dédiée à l'évaluation des LLM.

Le premier benchmark de traitement du langage naturel à grande échelle pour la langue Indonesian. Nous proposons plusieurs tâches en aval, des modèles IndoBERT pré-entraînés, et du code de démarrage! (AACL-IJCNLP 2020)

BERTweet : un modèle de langage pré-entraîné pour les tweets en anglais (EMNLP-2020)

Une implémentation du modèle BERT et de ses tâches en aval associées basée sur le framework PyTorch. @跟我学机器学习

📖 Benchmark NLU en coréen

Vérification de l'ancrage au niveau des segments pour les sorties d'IA ancrées dans le code, les RAG et les outils.

Articles de recherche en TAL (NLP)

Dépôt NLP de Deep Learning résumant les tâches en aval, du prétraitement du texte aux modèles les plus récents comme Topic Models, BERT, GPT et LLM en utilisant TensorFlow.

Traduction chinoise de Natural Language Processing with Transformers, le tutoriel le plus faisant autorité sur Transformers

Modèles turcs BERT/DistilBERT, ELECTRA, ConvBERT et T5