linear-attention

RWKV (phát âm là RwaKuv) là một RNN có hiệu suất LLM tuyệt vời, cũng có thể được đào tạo trực tiếp giống như một transformer GPT (có thể song song hóa). Chúng ta đang ở phiên bản RWKV-7 "Goose". Do đó, nó kết hợp những điểm ưu việt nhất của RNN và transformer - hiệu suất tuyệt vời, thời gian tuyến tính, bộ nhớ không đổi (không có kv-cache), huấn luyện nhanh, ctx_len vô hạn và embedding câu miễn phí.

Mô hình Kimi K3 với 2,78 nghìn tỷ tham số chạy suy luận trên một CPU duy nhất với 8,24 GB RAM. C99 di động: không BLAS, không framework, không GPU.