BlinkDL/RWKV-LM

RWKV（發音為 RwaKuv）是一種具備卓越大型語言模型效能的 RNN，也可像 GPT 變換器那樣直接訓練（可平行化）。我們已達到 RWKV-7「Goose」階段。它結合了 RNN 與變換器的優勢——卓越效能、線性時間、恆定空間（無 kv-cache）、快速訓練、無限上下文長度，以及免費的句子嵌入。