charent

日本語対話0.2B小規模モデル（ChatLM-Chinese-0.2B）。データセットのソース、データクリーニング、トークナイザーのトレーニング、モデルの事前学習、SFT命令微調整、RLHF最適化などのすべてのプロセスのコードをオープンソース化しています。下流タスクのSFT微調整をサポートし、三元情報抽出の微調整例を提供します。

Phi2-Chinese-0.2B: 独自の Phi2 中国語小規模モデルをゼロからトレーニングし、langchain を用いたローカルナレッジベースの読み込みによる RAG（検索拡張生成）をサポートします。独自の Phi2 チャットモデルをゼロからトレーニングしよう。