pjlab-sys4nlp/llama-moe

LLaMA-MoE: Construindo Mixture-of-Experts a partir do LLaMA com pré-treinamento contínuo (EMNLP 2024).

↗ Abrir no GitHub

Estrelas

1.002

Bifurcações

61

Linguagem

Python

Licença

Apache-2.0

Último push

há 2 anos

Python llm llama mixture-of-experts moe continual-pre-training expert-partition

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.