mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe: W4A8KV4-Quantisierung und System-Codesign für effizientes LLM-Serving; [MLSys'25] LServe: Effizientes Long-Sequence-LLM-Serving mit einheitlicher Sparse-Attention
Sterne
856
Forks
69
Sprache
C++
Lizenz
Apache-2.0
Letzter Push
vor 2 Jahren
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.