feifeibear/long-context-attention

USP: Atención paralela de secuencia unificada (híbrida, 2D) para entrenamiento e inferencia de modelos Transformers de contexto largo

↗ Abrir en GitHub

Estrellas

691

Bifurcaciones

84

Lenguaje

Python

Licencia

Apache-2.0

Último push

hace 3 días

Python llm-inference pytorch llm-training attention-is-all-you-need deepspeed-ulysses ring-attention

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.