noonghunna/club-3090
@noonghunnaRTX 3090/4090/5090 CUDA GPU에서 LLM을 서빙하기 위한 커뮤니티 레시피. 멀티 엔진(vLLM, llama.cpp, ik_llama) 및 모델 비의존적. 현재 1장 및 2장 카드용 Qwen3.6-27B, Qwen3.6 35B, Gemma 4 26B, Gemma 4 31B 설정 제공.
스타
2,224
포크
140
언어
Python
라이선스
Apache-2.0
마지막 푸시
9시간 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.