bert

从 NLP 到 LLM 的算法全栈教程，在线阅读地址：https://datawhalechina.github.io/base-llm/

中文 100G 大规模预训练语料库

SPLADE：稀疏神经搜索（SIGIR21、SIGIR22）

基于最新版本 rasa 搭建的中文对话系统

TextGen：文本生成模型实现，包含 LLaMA、BLOOM、GPT2、BART、T5、SongNet 等。提供文本生成模型的训练与预测，开箱即用。

论文“GECToR – Grammatical Error Correction: Tag, Not Rewrite”(BEA-20) 与“Text Simplification by Tagging”(BEA-21) 的官方实现

从 BERT 到 GPT-4 的 Transformer 模型，从 Hugging Face 到 OpenAI 的环境。微调、训练与提示词工程示例。包含 ChatGPT、GPT-3.5-turbo、GPT-4 与 DALL-E 的额外单元，涵盖 GPT-4 快速入门、语音转文字、文字转语音、DALL-E 文字转图像生成、Google Cloud AI、HuggingGPT 等。

🤖 精选 Transformer 模型及其可组合组件的 PyTorch 库

葡萄牙语预训练 BERT 模型

包含用于微调 transformers 以处理各种 NLP 任务教程的 GitHub 仓库

PhoBERT：越南语预训练语言模型 (EMNLP-2020 Findings)

多标签文本分类，多标签分类，文本分类，multi-label，classifier，text classification，BERT，seq2seq，attention，multi-label-classification

模糊字符串匹配、分组与评估。

KG-BERT：用于知识图谱补全的 BERT

PatrickStar 实现了更大、更快、更环保的 NLP 预训练模型，并让 AI 普及化。

JointBERT 的 Pytorch 实现：“BERT for Joint Intent Classification and Slot Filling”

用于最先进多语言问答研究与开发的主要仓库。

LLM-PowerHouse：透过精选教学、最佳实践以及可用于自定义训练与推理的即用代码，释放 LLM 的潜力。

在 PyTorch 中简单实现 OpenAI CLIP 模型

重新审视中文自然语言处理的预训练模型（MacBERT）。

Awesome-LLM-Eval：精选的工具、数据集/基准测试、演示、排行榜、论文、文档与模型列表，主要用于 LLM 评估。一个由工具、基准/数据、演示、排行榜和大模型等组成的精选列表，主要面向基础大模型评测，旨在探求生成式AI的技术边界。

针对印尼语的首个大型自然语言处理基准测试。我们提供多个下游任务、预训练的 IndoBERT 模型以及入门代码！(AACL-IJCNLP 2020)

BERTweet：针对英文推文的预训练语言模型 (EMNLP-2020)

针对 RAG、代码及工具为基础的 AI 输出结果进行 Span 层级的对齐验证。

📖 韩语 NLU 基准测试

基于 PyTorch 框架的 BERT 模型及其相关下游任务实现。

NLP 论文。

Natural Language Processing with Transformers 中译本，最权威的 Transformers 教程

使用 TensorFlow 整理从文本预处理到 Topic Models、BERT、GPT、LLM 等最新模型下游任务的深度学习 NLP 存储库。

土耳其语 BERT/DistilBERT、ELECTRA、ConvBERT 与 T5 模型