long-context

InternLM 系列正式發布（InternLM、InternLM2、InternLM2.5、InternLM3）

LongLoRA 與 LongAlpaca 的程式碼與文件 (ICLR 2024 Oral)

Helios：真正的即時長影片生成模型

[ICLR 2025] LongWriter：從長上下文 LLM 解鎖 10,000+ 字元的生成能力

LongBench v2 與 LongBench (ACL 25'&24')

讓 LLM KV 快取壓縮變得輕鬆簡單

大上下文注意力機制

在 Pytorch 中實作 MEGABYTE（透過多尺度 Transformer 預測百萬位元組序列）。

在 Pytorch 中實作 Berkeley AI 的 Liu 等人提出的 💍 Ring Attention

LongCite：使 LLM 能夠在長文本問答中生成細粒度引用。