intentee/paddler
@intentee대규모 자체 호스팅을 위한 오픈소스 LLM/VLM 로드 밸런서 및 서빙 플랫폼 🏓🦙. llm-d, Docker Model Runner 등의 대안으로, ggml 생태계를 기반으로 복잡성을 줄이고 간단하게 배포할 수 있습니다. CPU와 GPU에서 실행됩니다.
스타
1,665
포크
97
언어
Rust
라이선스
Apache-2.0
마지막 푸시
2개월 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.