scrya-com/rotorquant
@scrya-com블록 대각 회전을 통한 KV 캐시 압축. TurboQuant 능가: 더 나은 PPL(6.91 대 7.07), 28% 더 빠른 디코드, 5.3배 더 빠른 프리필, 44배 적은 매개변수. 드롭인 llama.cpp 통합.
스타
1,046
포크
90
언어
Python
라이선스
—
마지막 푸시
5개월 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.