qiufengqijun

這是一個從頭訓練大型語言模型的專案，包含預訓練、微調與直接偏好優化，模型擁有 1B 參數，支援中英文。