mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 어텐션을 통한 효율적인 긴 시퀀스 LLM 서빙
스타
856
포크
69
언어
C++
라이선스
Apache-2.0
마지막 푸시
2년 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.