microsoft/sarathi-serve
@microsoft用于 LLM 的低延迟与高吞吐量服务引擎
星数
522
Fork 数
67
语言
Python
许可
Apache-2.0
最后推送
8个月前
相关情报（0）
还没有相关情报
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。
用于 LLM 的低延迟与高吞吐量服务引擎
radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。