feifeibear/long-context-attention

USP：用於長文本 Transformers 模型訓練與推論的統一（亦稱混合、2D）序列平行注意力機制

↗ 在 GitHub 開啟

星數

692

Fork 數

85

語言

Python

授權

Apache-2.0

最後推送

7 天前

Python llm-inference pytorch llm-training attention-is-all-you-need deepspeed-ulysses ring-attention

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。