bert

Corpus de pré-treinamento em larga escala para chinês de 100G 中文预训练语料

Tutorial completo do algoritmo de NLP para LLM, endereço de leitura online: https://datawhalechina.github.io/base-llm/

SPLADE: busca neural esparsa (SIGIR21, SIGIR22)

Construindo um sistema de diálogo em chinês baseado na versão mais recente do Rasa

TextGen: Implementação de modelos de geração de texto, incluindo LLaMA, BLOOM, GPT2, BART, T5, SongNet e outros. Inclui treinamento e previsão prontos para uso para modelos como LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA, entre outros.

Implementação oficial dos artigos "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) e "Text Simplification by Tagging" (BEA-21)

Modelos Transformer de BERT a GPT-4, ambientes de Hugging Face a OpenAI. Exemplos de fine-tuning, treinamento e prompt engineering. Uma seção bônus com ChatGPT, GPT-3.5-turbo, GPT-4 e DALL-E, incluindo inicialização de GPT-4, speech-to-text, text-to-speech, geração de texto para imagem com DALL-E, Google Cloud AI, HuggingGPT e muito mais

Uma biblioteca PyTorch de modelos Transformer selecionados e seus componentes combináveis

Modelos BERT pré-treinados em português

Repositório do GitHub com tutoriais para ajuste fino de transformers para diversas tarefas de PLN

PhoBERT: Modelos de linguagem pré-treinados para vietnamita (EMNLP-2020 Findings)

Classificação de texto multilabel, classificação multilabel, classificação de texto, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification

Correspondência, agrupamento e avaliação difusa de strings.

KG-BERT: BERT para completude de grafos de conhecimento.

O PatrickStar permite modelos pré-treinados maiores, mais rápidos e ecológicos para NLP e democratiza a IA para todos.

Implementação em PyTorch do JointBERT: "BERT for Joint Intent Classification and Slot Filling"

O repositório principal para pesquisa e desenvolvimento de QA (Question Answering) multilíngue de última geração.

LLM-PowerHouse: Libere o potencial de LLMs por meio de tutoriais selecionados, melhores práticas e código pronto para uso para treinamento e inferência personalizados.

Implementação simples do modelo OpenAI CLIP em PyTorch.

Revisitando Modelos Pré-treinados para Processamento de Linguagem Natural em Chinês (MacBERT)

Awesome-LLM-Eval: uma lista com curadoria de ferramentas, conjuntos de dados/benchmarks, demonstrações, placares, artigos, documentos e modelos, focada principalmente na avaliação de LLMs.

O primeiro e maior benchmark de processamento de linguagem natural para a língua indonésia. Fornecemos múltiplas tarefas de downstream, modelos IndoBERT pré-treinados e código inicial! (AACL-IJCNLP 2020)

BERTweet: Um modelo de linguagem pré-treinado para Tweets em inglês (EMNLP-2020)

Uma implementação do modelo BERT e suas tarefas downstream relacionadas com base no framework PyTorch. @跟我学机器学习

📖 Benchmark de NLU em Coreano

Verificação de ancoragem em nível de trecho para saídas de IA baseadas em RAG, código e ferramentas.

Artigo de NLP

Este é um repositório de NLP de Deep Learning que organiza desde o pré-processamento de texto usando TensorFlow até tarefas downstream de modelos modernos como Topic Models, BERT, GPT e LLM.

Tradução para chinês de Natural Language Processing with Transformers, o tutorial mais autorizado sobre Transformers

Modelos Turkish BERT/DistilBERT, ELECTRA, ConvBERT e T5