BlinkDL/RWKV-LM

RWKV (prononcé RwaKuv) est un RNN offrant d'excellentes performances LLM, pouvant être entraîné directement comme un transformeur GPT (parallélisable). Nous en sommes à RWKV-7 "Goose". Il combine le meilleur du RNN et du transformeur : excellentes performances, temps linéaire, espace constant (pas de kv-cache), entraînement rapide, longueur de contexte infinie et plongements de phrases gratuits.

↗ Ouvrir sur GitHub

Étoiles

14 687

Bifurcations

1 022

Langage

Python

Licence

Apache-2.0

Dernier push

il y a 5 jours

Python deep-learning gpt language-model transformer pytorch chatgpt transformers gpt-3 attention-mechanism gpt-2 lstm rnn rwkv linear-attention

Aucune intel associée pour le moment

Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.

Intel associée (0)

Aucune intel associée pour le moment