esbatmop/MNBVC

MNBVC（Massive Never-ending BT Vast Chinese corpus）超大規模中文語料集。對標 chatGPT 訓練的 40T 數據。MNBVC 數據集不僅包括主流文化，也包括各個小眾文化甚至火星文的數據。MNBVC 數據集包含新聞、作文、小說、書籍、雜誌、論文、台詞、帖子、wiki、古詩、歌詞、商品介紹、笑話、糗事、聊天記錄等一切形式的純文本中文數據。