lucidrains/ring-attention-pytorch

在 Pytorch 中实现 Berkeley AI 的 Liu 等人提出的 💍 Ring Attention

↗ 在 GitHub 打开

星数

545

Fork 数

36

语言

Python

许可

MIT

最后推送

1年前

Python long-context attention-mechanism distributed-attention efficient-attention

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。