소유자 · scrya-com
scrya-com
scrya-com의 추적 중인 오픈소스 리포지토리를 스타 수 순으로 보여줘요.
리포지토리 1개
- #1
블록 대각 회전을 통한 KV 캐시 압축. TurboQuant 능가: 더 나은 PPL(6.91 대 7.07), 28% 더 빠른 디코드, 5.3배 더 빠른 프리필, 44배 적은 매개변수. 드롭인 llama.cpp 통합.
★ 1,046+3최근 7일 스타 변화
scrya-com의 추적 중인 오픈소스 리포지토리를 스타 수 순으로 보여줘요.
블록 대각 회전을 통한 KV 캐시 압축. TurboQuant 능가: 더 나은 PPL(6.91 대 7.07), 28% 더 빠른 디코드, 5.3배 더 빠른 프리필, 44배 적은 매개변수. 드롭인 llama.cpp 통합.