bert

Kashgari 是一個建構在 tf.keras 之上的生產級 NLP 遷移學習框架，用於文字標記與文字分類，包含 Word2Vec、BERT 與 GPT2 語言嵌入。

一個資訊檢索的異質基準測試。簡單易用，可在 15 個以上不同的 IR 資料集上評估您的模型。

用於自然語言理解的多任務深度神經網路

EasyNLP：全面且易用的 NLP 工具包

阿里達摩院機器智能實驗室 (MinD Lab) 的編碼器-解碼器集合

[CVPR 2021] Transformer 專案超越注意力視覺化的官方 PyTorch 實作，這是一種基於 Transformer 網路將分類視覺化的新穎方法。

超簡單的 BERT 基礎 NLP 模型函式庫

Transformers 庫快速入門教程

Go 語言編寫的獨立機器學習與自然語言處理函式庫。

中文長文本分類、短句子分類、多標籤分類、兩句子相似度（Chinese Text Classification of Keras NLP, multi-label classify, or sentence classify, long or short），字詞句向量嵌入層（embeddings）和網路層（graph）構建基類，FastText，TextCNN，CharCNN，TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 膠囊網路-CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN

自然語言處理、知識圖譜、對話系統、大模型等技術研究與應用。

透過架構變更與擴展將 BERT 帶入現代化

PaddleSlim 是一個用於深度模型壓縮與架構搜尋的開源函式庫。

用於 CPU 與 GPU 上 transformer 推論（Bert、Albert、GPT2、Decoders 等）的快速且使用者友善的執行環境。

預訓練中文 ELECTRA 模型

韓語 BERT 預訓練區分大小寫模型 (KoBERT)

🛸 在 spaCy 中使用預先訓練的 transformer，如 BERT、XLNet 和 GPT-2

[ICLR'23 Spotlight🔥] 首次在卷積網路中成功進行 BERT/MAE 風格的預訓練；「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」的 PyTorch 實作。

⭕ N2O：分散式 WebSocket 應用程式伺服器 ISO 20922

自然語言處理領域下的相關論文（附閱讀筆記），復現模型以及資料處理等（程式碼含 TensorFlow 和 PyTorch 兩版本）

一個優雅的 transformers PyTorch 實作

用於預測所有 3 個 Jigsaw Toxic Comment 挑戰賽中具攻擊性留言的訓練模型與程式碼。使用 ⚡ Pytorch Lightning 與 🤗 Transformers 建構。若要存取我們的 API，請寄信至 contact@unitary.ai。

Transformers4Rec 是一個靈活且高效的序列與基於會話的推薦函式庫，可與 PyTorch 搭配使用。

用於執行情境化主題建模的 python 套件。CTM 將情境化嵌入（例如 BERT）與主題模型結合以獲得連貫的主題。發表於 EACL 與 ACL 2021 (Bianchi 等人)。

袖珍型多模態 AI，用於跨多語言文字、圖片和影片的內容理解與生成，速度比 OpenAI CLIP 和 LLaVA 快達 5 倍

基於 BERT 與 VITS 的最佳實踐 TTS，並具備微軟的一些自然語音特徵；支援 ONNX 串流輸出！

用於增強 OpenVINO™ 推理的神經網路壓縮框架

💁 自然語言處理 Transformers 模型精選寶庫，包含論文、影片、部落格、官方儲存庫以及 Colab 筆記本。 🛫☑️

精選的 NLP 資源清單，聚焦於 Transformer 網路、注意力機制、GPT、BERT、ChatGPT、LLMs 與遷移學習。

基於 PyTorch 的 Tencent 預訓練框架與預訓練模型庫