본문으로 건너뛰기
buildradar
Sign in

xorbitsai/inference

@xorbitsai

코드 한 줄만 바꾸면 GPT를 어떤 LLM으로든 교체할 수 있습니다. Xinference를 사용하면 클라우드, 온프레미스, 노트북에서 오픈소스, 음성, 멀티모달 모델을 단일 프로덕션용 통합 추론 API로 실행할 수 있습니다.

스타
9,537
포크
865
언어
Python
라이선스
Apache-2.0
마지막 푸시
5일 전
Pythonmachine-learningllmvllmpytorchwhisperopenai-apiartificial-intelligenceqwentransformersinferenceglmllama-cppdeploymentkimigemmallamacppdiffuserssglangkimi-k3glm-5-3

아직 관련 인텔이 없습니다

이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.