long-context

InternLM 系列正式发布（InternLM、InternLM2、InternLM2.5、InternLM3）

LongLoRA 与 LongAlpaca 的代码与文档 (ICLR 2024 Oral)

Helios：真正的实时长视频生成模型

[ICLR 2025] LongWriter：从长上下文 LLM 解锁 10,000+ 字元的生成能力

LongBench v2 与 LongBench (ACL 25'&24')

让 LLM KV 缓存压缩变得轻松简单

大上下文注意力机制

在 Pytorch 中实现 MEGABYTE（通过多尺度 Transformer 预测百万字节序列）。

在 Pytorch 中实现 Berkeley AI 的 Liu 等人提出的 💍 Ring Attention

LongCite：使 LLM 能够在长文本问答中生成细粒度引用。