charent

中文對話 0.2B 小模型（ChatLM-Chinese-0.2B），開源所有資料集來源、資料清洗、tokenizer 訓練、模型預訓練、SFT 指令微調、RLHF 優化等流程的全部程式碼。支援下游任務 sft 微調，給出三元組資訊抽取微調範例。

從零開始訓練自己的 Phi2 中文小模型，支援接入 LangChain 並載入本地知識庫以進行檢索增強生成 (RAG)。