EricLBuehler/candle-vllm
@EricLBuehlerOpenAI 호환 API 서버를 포함하여 로컬 LLM을 추론하고 서비스하기 위한 효율적인 플랫폼
스타
722
포크
88
언어
Rust
라이선스
MIT
마지막 푸시
2일 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.
OpenAI 호환 API 서버를 포함하여 로컬 LLM을 추론하고 서비스하기 위한 효율적인 플랫폼
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.