feifeibear/long-context-attention

USP: Unified (também conhecido como Hybrid, 2D) Sequence Parallel Attention para treinamento e inferência de modelos Transformers de contexto longo

↗ Abrir no GitHub

Estrelas

692

Bifurcações

85

Linguagem

Python

Licença

Apache-2.0

Último push

há 5 dias

Python llm-inference pytorch llm-training attention-is-all-you-need deepspeed-ulysses ring-attention

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.