BlinkDL/RWKV-LM

RWKV (ausgesprochen RwaKuv) ist ein RNN mit hervorragender LLM-Leistung, das auch wie ein GPT-Transformer direkt trainiert werden kann (parallelisierbar). Wir sind bei RWKV-7 „Goose“. Es kombiniert also das Beste aus RNN und Transformer – hohe Leistung, lineare Zeit, konstanter Speicherplatz (kein KV-Cache), schnelles Training, unendliche ctx_len und kostenloses Sentence Embedding.