メインコンテンツへスキップ
buildradar
Sign in

microsoft/sarathi-serve

@microsoft

LLM 向けの低遅延かつ高スループットなサービングエンジン

スター
520
フォーク
66
言語
Python
ライセンス
Apache-2.0
最終プッシュ
8 か月前
Pythonllm-inferencetransformerpytorchllama

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。