AviSoori1x/makeMoE

Implementação do zero de um modelo de linguagem de mistura esparsa de especialistas, inspirado no makemore de Andrej Karpathy :)

↗ Abrir no GitHub

Estrelas

814

Bifurcações

96

Linguagem

Jupyter Notebook

Licença

MIT

Último push

há 2 anos

Jupyter Notebook llm deep-learning large-language-models neural-networks pytorch mixture-of-experts pytorch-implementation

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.