IST-DASLab/marlin
@IST-DASLabFP16xINT4 LLM-Inferenz-Kernel, der bei mittleren Batchgrößen von 16-32 Token nahezu ideale 4-fache Geschwindigkeitssteigerungen erzielen kann.
Sterne
1.138
Forks
92
Sprache
Python
Lizenz
Apache-2.0
Letzter Push
vor 2 Jahren
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.