corpus-data

MNBVC（Massive Never-ending BT Vast Chinese corpus）超大規模中国語コーパス。chatGPTの学習データである40Tに匹敵します。MNBVCデータセットには、主流文化だけでなく、ニッチな文化や火星文のデータも含まれています。MNBVCデータセットには、ニュース、作文、小説、書籍、雑誌、論文、セリフ、投稿、wiki、古典詩、歌詞、商品紹介、ジョーク、失敗談、チャットログなど、あらゆる形式の純粋なテキスト中国語データが含まれています。

大規模言語モデル（LLM）のトレーニングに使用される、ChatGPT中国語コーパス、対話コーパス、小説コーパス、カスタマーサポートコーパス

中国語の現代詩コーパス（3,000名以上の詩人、80,000首以上の詩、1,500万文字以上を収録）