Liuhong99/Sophia

「Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training」の公式実装

↗ GitHub で開く

スター

1,001

フォーク

58

言語

Python

ライセンス

MIT

最終プッシュ

3 年前

Python deep-learning large-language-models optimizer

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。