跳到主要內容
buildradar
登入

therealoliver/Deepdive-llama3-from-scratch

@therealoliver

逐步實現 llama3 推論、掌握核心概念、掌握過程推導、實作程式碼。

星數
629
Fork 數
53
語言
Jupyter Notebook
授權
MIT
最後推送
2 年前
Jupyter Notebookgptlanguage-modeltransformerllmstokenizerllamainferenceattentionattention-mechanismkv-cachermsropemaskllm-configurationmulti-head-attentionpositional-encodingresidualsrms-normrotary-position-encodingswiglu

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。