qiufengqijun

Projet d'entraînement de grands modèles de langage à partir de zéro, incluant pré-entraînement, fine-tuning et optimisation directe des préférences (DPO), avec un modèle de 1B de paramètres supportant le chinois et l'anglais.