microsoft/sarathi-serve

@microsoft

Eine Serving-Engine mit niedriger Latenz und hohem Durchsatz für LLMs

↗ Auf GitHub öffnen

Sterne

520

Forks

Sprache

Python

Lizenz

Apache-2.0

Letzter Push

vor 8 Monaten

Python llm-inference transformer pytorch llama

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel