BlinkDL/RWKV-LM
@BlinkDLRWKV (pronuncia-se RwaKuv) é uma RNN com excelente desempenho em LLM, que também pode ser treinada diretamente como um transformer GPT (paralelizável). Estamos na versão RWKV-7 "Goose". Ele combina o melhor de RNN e transformer: ótimo desempenho, tempo linear, espaço constante (sem kv-cache), treinamento rápido, comprimento de contexto infinito e sentence embedding gratuito.
Estrelas
14.695
Bifurcações
1.021
Linguagem
Python
Licença
Apache-2.0
Último push
há 1 semana
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.