BlinkDL/RWKV-LM

RWKV adalah RNN dengan performa LLM yang hebat, yang juga dapat dilatih secara langsung seperti GPT transformer (dapat diparalelkan). Kami berada di RWKV-7 "Goose". Ini menggabungkan keunggulan RNN dan transformer - performa hebat, waktu linear, ruang konstan (tanpa kv-cache), pelatihan cepat, ctx_len tak terbatas, dan sentence embedding gratis.