소유자 · vllm-project

vllm-project

vllm-project의 추적 중인 오픈소스 리포지토리를 스타 수 순으로 보여줘요.

리포지토리 11개

#1
vllm ↗@vllm-projectPython
LLM을 위한 고성능 및 메모리 효율적인 추론 및 서빙 엔진
★ 90,817+402최근 7일 스타 변화
#2
vllm-omni ↗@vllm-projectPython
옴니 모달리티 모델을 위한 효율적인 모델 추론 프레임워크
★ 6,593+136최근 7일 스타 변화
#3
semantic-router ↗@vllm-projectGo
이질적인 LLM 추론을 위한 프로그래밍 가능한 Mixture-of-Models 라우터
★ 5,506+101최근 7일 스타 변화
#4
aibrix ↗@vllm-projectGo
GenAI 추론을 위한 비용 효율적이고 플러그 가능한 인프라 구성 요소
★ 5,053+10최근 7일 스타 변화
#5
llm-compressor ↗@vllm-projectPython
vLLM을 통한 최적화된 배포를 위해 LLM에 다양한 압축 알고리즘을 적용하는 Transformers 호환 라이브러리
★ 3,753+17최근 7일 스타 변화
#6
vllm-ascend ↗@vllm-projectC++
Ascend 기반 vLLM을 위한 커뮤니티 유지보수 하드웨어 플러그인
★ 2,749+19최근 7일 스타 변화
#7
production-stack ↗@vllm-projectPython
커뮤니티 기반 성능 최적화를 제공하는 K8S 네이티브 클러스터 전체 배포를 위한 vLLM 레퍼런스 시스템
★ 2,550+13최근 7일 스타 변화
#8
vllm-metal ↗@vllm-projectPython
Apple Silicon용 vLLM 커뮤니티 유지보수 하드웨어 플러그인
★ 1,679+22최근 7일 스타 변화
#9
guidellm ↗@vllm-projectPython
실제 추론 요구 사항에 맞게 LLM 배포 평가 및 개선
★ 1,573+20최근 7일 스타 변화
#10
recipes ↗@vllm-projectJavaScript
vLLM 실행을 위한 공통 레시피
★ 1,009+12최근 7일 스타 변화
#11
speculators ↗@vllm-projectPython
vLLM에서 LLM 추론을 위한 투기적 디코딩 알고리즘을 구축, 평가 및 저장하기 위한 통합 라이브러리
★ 809+27최근 7일 스타 변화

← 소유자 랭킹으로