qiufengqijun

这是一个从头训练大语言模型的项目，包括预训练、微调和直接偏好优化，模型拥有 1B 参数，支持中英文。