feifeibear/long-context-attention

USP: Unified (bzw. Hybrid, 2D) Sequence Parallel Attention für das Training und die Inferenz von Long-Context-Transformer-Modellen

↗ Auf GitHub öffnen

Sterne

691

Forks

Sprache

Python

Lizenz

Apache-2.0

Letzter Push

vor 4 Tagen

Python llm-inference pytorch llm-training attention-is-all-you-need deepspeed-ulysses ring-attention

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel