feifeibear/long-context-attention

USP：用于长文本 Transformers 模型训练与推理的统一（亦称混合、2D）序列并行注意力机制

↗ 在 GitHub 打开

星数

692

Fork 数

85

语言

Python

许可

Apache-2.0

最后推送

1周前

Python llm-inference pytorch llm-training attention-is-all-you-need deepspeed-ulysses ring-attention

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。