bert

Kashgari 是一个构建在 tf.keras 之上的生产级 NLP 迁移学习框架，用于文本标记与文本分类，包含 Word2Vec、BERT 与 GPT2 语言嵌入。

一个信息检索的异构基准测试。简单易用，可在 15 个以上不同的 IR 数据集上评估您的模型。

用于自然语言理解的多任务深度神经网络

EasyNLP：全面且易用的 NLP 工具包

阿里达摩院机器智能实验室 (MinD Lab) 的编码器-解码器集合

[CVPR 2021] Transformer 解释超越注意力可视化的官方 PyTorch 实现，这是一种基于 Transformer 网络将分类可视化的新颖方法。

超简单的 BERT 基础 NLP 模型库

Transformers 库快速入门教程

Go 语言编写的独立机器学习与自然语言处理库。

中文长文本分类、短句子分类、多标签分类、两句子相似度（Chinese Text Classification of Keras NLP, multi-label classify, or sentence classify, long or short），字词句向量嵌入层（embeddings）和网络层（graph）构建基类，FastText，TextCNN，CharCNN，TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 胶囊网络-CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN

自然语言处理、知识图谱、对话系统、大模型等技术研究与应用。

通过架构变更与扩展将 BERT 带入现代化

PaddleSlim 是一个用于深度模型压缩与架构搜索的开源库。

用于 CPU 与 GPU 上 transformer 推理（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的执行环境。

预训练中文 ELECTRA 模型

韩语 BERT 预训练区分大小写模型 (KoBERT)

🛸 在 spaCy 中使用预训练的 transformer，如 BERT、XLNet 和 GPT-2

[ICLR'23 Spotlight🔥] 首次在卷积网络中成功进行 BERT/MAE 风格的预训练；「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」的 PyTorch 实现。

⭕ N2O：分布式 WebSocket 应用程序服务器 ISO 20922

自然语言处理领域下的相关论文（附阅读笔记），复现模型以及数据处理等（代码含 TensorFlow 和 PyTorch 两版本）

一个优雅的 transformers 的 PyTorch 实现

用于预测所有 3 个 Jigsaw Toxic Comment 挑战赛中有毒评论的训练模型与代码。使用 ⚡ Pytorch Lightning 与 🤗 Transformers 构建。如需存取我们的 API，请发送电子邮件至 contact@unitary.ai。

Transformers4Rec 是一个灵活且高效的序列与基于会话的推荐库，可与 PyTorch 搭配使用。

用于执行情境化主题建模的 python 套件。CTM 将情境化嵌入（例如 BERT）与主题模型结合以获得连贯的主题。发表于 EACL 与 ACL 2021 (Bianchi 等人)。

袖珍型多模态 AI，用于跨多语言文字、图片和视频的内容理解与生成，速度比 OpenAI CLIP 和 LLaVA 快达 5 倍

基于 BERT 与 VITS 的最佳实践 TTS，并具备微软的一些自然语音特征；支持 ONNX 流式输出！

用于增强 OpenVINO™ 推理的神经网络压缩框架

💁 自然语言处理 Transformers 模型精选宝库，包含论文、视频、博客、官方代码库以及 Colab 笔记本。 🛫☑️

精选的 NLP 资源列表，聚焦于 Transformer 网络、注意力机制、GPT、BERT、ChatGPT、LLMs 与迁移学习。

基于 PyTorch 的 Tencent 预训练框架与预训练模型库