AviSoori1x/makeMoE

Andrej Karpathy の makemore にインスパイアされた、スパース Mixture of Experts 言語モデルのスクラッチ実装 :)

↗ GitHub で開く

スター

814

フォーク

96

言語

Jupyter Notebook

ライセンス

MIT

最終プッシュ

2 年前

Jupyter Notebook llm deep-learning large-language-models neural-networks pytorch mixture-of-experts pytorch-implementation

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。