TurboQuant: Triton 커널 및 vLLM 통합이 포함된 LLM 추론을 위한 준최적(Near-optimal) KV 캐시 양자화(3비트 키, 2비트 값)
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.
