charent

중국어 대화 0.2B 소형 모델(ChatLM-Chinese-0.2B). 데이터셋 소스, 데이터 정제, tokenizer 학습, 모델 사전 학습, SFT 명령어 미세 조정, RLHF 최적화 등 전체 프로세스의 소스 코드를 오픈소스화했습니다. 다운스트림 작업 SFT 미세 조정을 지원하며, 삼중항 정보 추출 미세 조정 예제를 제공합니다.

Phi2-Chinese-0.2B: Phi2 중국어 소형 모델을 처음부터 학습하고, LangChain을 통해 로컬 지식 베이스를 연동하여 RAG를 구현