charent

中文对话 0.2B 小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer 训练、模型预训练、SFT 指令微调、RLHF 优化等流程的全部代码。支持下游任务 sft 微调，给出三元组信息抽取微调示例。

从零开始训练自己的 Phi2 中文小模型，支持接入 LangChain 并加载本地知识库以进行检索增强生成 (RAG)。