Chủ sở hữu · scrya-com
scrya-com
Các kho mã nguồn mở đang theo dõi của scrya-com, sắp xếp theo số sao.
1 kho mã
- #1
Nén bộ đệm KV thông qua xoay khối chéo. Vượt qua TurboQuant: PPL tốt hơn (6.91 so với 7.07), giải mã nhanh hơn 28%, tiền điền (prefill) nhanh hơn 5.3 lần, ít tham số hơn 44%. Tích hợp trực tiếp vào llama.cpp.
★ 1.045+3Thay đổi số sao trong 7 ngày qua
