BlinkDL/RWKV-LM

RWKV（发音为 RwaKuv）是一种具备卓越大型语言模型性能的 RNN，也可像 GPT 变换器那样直接训练（可并行化）。我们已达到 RWKV-7“Goose”阶段。它结合了 RNN 与变换器的优势——卓越性能、线性时间、恒定空间（无 kv-cache）、快速训练、无限上下文长度，以及免费句子嵌入。