BlinkDL

RWKV (prononcé RwaKuv) est un RNN offrant d'excellentes performances LLM, pouvant être entraîné directement comme un transformeur GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine le meilleur du RNN et du transformeur : excellentes performances, temps linéaire, espace constant (pas de kv-cache), entraînement rapide, longueur de contexte infinie et plongements de phrases gratuits.

ChatRWKV est similaire à ChatGPT mais propulsé par le modèle de langage RWKV (100 % RNN) et est open source.

IA pour l'écriture de romans, générant des fictions fantastiques et romantiques. Modèle de génération pré-entraîné en chinois utilisant le modèle RWKV, similaire à GPT-2.