bert

中文 100G 大規模預訓練語料庫

從 NLP 到 LLM 的演算法全端教學，線上閱讀地址：https://datawhalechina.github.io/base-llm/

SPLADE：稀疏神經搜尋（SIGIR21、SIGIR22）

基於最新版本 rasa 搭建的中文對話系統

TextGen：文字生成模型實作，包含 LLaMA、BLOOM、GPT2、BART、T5、SongNet 等。提供文字生成模型的訓練與預測，開箱即用。

論文「GECToR – Grammatical Error Correction: Tag, Not Rewrite」(BEA-20) 與「Text Simplification by Tagging」(BEA-21) 的官方實作

從 BERT 到 GPT-4 的 Transformer 模型，從 Hugging Face 到 OpenAI 的環境。微調、訓練與提示詞工程範例。包含 ChatGPT、GPT-3.5-turbo、GPT-4 與 DALL-E 的額外單元，涵蓋 GPT-4 快速入門、語音轉文字、文字轉語音、DALL-E 文字轉圖像生成、Google Cloud AI、HuggingGPT 等。

🤖 精選 Transformer 模型及其可組合元件的 PyTorch 函式庫

葡萄牙語預訓練 BERT 模型

包含用於微調 transformers 以處理各種 NLP 任務教學的 GitHub 儲存庫

PhoBERT：越南語預訓練語言模型 (EMNLP-2020 Findings)

多標籤文字分類，多標籤分類，文字分類，multi-label，classifier，text classification，BERT，seq2seq，attention，multi-label-classification

模糊字串比對、分群與評估。

KG-BERT：用於知識圖譜補全的 BERT

PatrickStar 實現了更大、更快、更環保的 NLP 預訓練模型，並讓 AI 普及化。

JointBERT 的 Pytorch 實作：「BERT for Joint Intent Classification and Slot Filling」

用於最先進多語言問答研究與開發的主要儲存庫。

LLM-PowerHouse：透過精選教學、最佳實踐以及可用於自訂訓練與推論的即用程式碼，釋放 LLM 的潛力。

在 PyTorch 中簡單實現 OpenAI CLIP 模型

重新審視中文自然語言處理的預訓練模型（MacBERT）。

Awesome-LLM-Eval：精選的工具、資料集/基準測試、展示、排行榜、論文、文件與模型清單，主要用於 LLM 評估。一個由工具、基準/數據、演示、排行榜和大模型等組成的精選列表，主要面向基礎大模型評測，旨在探求生成式AI的技術邊界。

針對印尼語的第一個大型自然語言處理基準測試。我們提供多個下游任務、預訓練的 IndoBERT 模型以及入門程式碼！(AACL-IJCNLP 2020)

BERTweet：針對英文推文的預訓練語言模型 (EMNLP-2020)

針對 RAG、程式碼及工具為基礎的 AI 輸出結果進行 Span 層級的對齊驗證。

📖 韓語 NLU 基準測試

基於 PyTorch 框架的 BERT 模型及其相關下游任務實作。

NLP 論文。

使用 TensorFlow 整理從文字預處理到 Topic Models、BERT、GPT、LLM 等最新模型下游任務的深度學習 NLP 儲存庫。

Natural Language Processing with Transformers 中譯本，最權威的 Transformers 教學

土耳其語 BERT/DistilBERT、ELECTRA、ConvBERT 與 T5 模型