charent

Model kecil dialog bahasa Mandarin 0.2B (ChatLM-Chinese-0.2B), menyediakan semua kode sumber untuk seluruh proses termasuk sumber dataset, pembersihan data, pelatihan tokenizer, pre-training model, fine-tuning instruksi SFT, dan optimasi RLHF. Mendukung fine-tuning SFT untuk tugas hilir, dan menyediakan contoh fine-tuning ekstraksi informasi tiga serangkai.

Phi2-Chinese-0.2B: Melatih model kecil Phi2 bahasa Mandarin dari nol, mendukung integrasi dengan langchain untuk memuat basis pengetahuan lokal guna RAG (Retrieval-Augmented Generation).