weicj/vLLM-2080Ti-Definitive
@weicj듀얼 RTX 2080 Ti 22GB + NVLink 환경을 위한 vLLM 런타임으로, FP8 가중치를 지원하며 Qwen 27B 모델에서 단일 요청 디코딩 시 최대 100+ tok/s의 로컬 추론 성능을 제공합니다.
스타
828
포크
124
언어
Python
라이선스
Apache-2.0
마지막 푸시
1일 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.