BlinkDL/RWKV-LM

RWKV (phát âm là RwaKuv) là một RNN có hiệu suất LLM tuyệt vời, cũng có thể được đào tạo trực tiếp giống như một transformer GPT (có thể song song hóa). Chúng ta đang ở phiên bản RWKV-7 "Goose". Do đó, nó kết hợp những điểm ưu việt nhất của RNN và transformer - hiệu suất tuyệt vời, thời gian tuyến tính, bộ nhớ không đổi (không có kv-cache), huấn luyện nhanh, ctx_len vô hạn và embedding câu miễn phí.