lucidrains/ring-attention-pytorch

Implementação de Ring Attention, de Liu et al. da Berkeley AI, em Pytorch.

↗ Abrir no GitHub

Estrelas

545

Bifurcações

36

Linguagem

Python

Licença

MIT

Último push

há 1 ano

Python long-context attention-mechanism distributed-attention efficient-attention

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.