BlinkDL/RWKV-LM

RWKV (pronunciado RwaKuv) es una RNN con un gran rendimiento en LLM, que también se puede entrenar directamente como un transformador GPT (paralelizable). Estamos en RWKV-7 "Goose". Combina lo mejor de RNN y transformer: gran rendimiento, tiempo lineal, espacio constante (sin caché kv), entrenamiento rápido, ctx_len infinito y embedding de oraciones gratuito.