intel/auto-round
@intelEin SOTA-Quantisierungsalgorithmus für hochpräzise Low-Bit-LLM-Inferenz, nahtlos optimiert für CPU/XPU/CUDA, mit Unterstützung für mehrere Datentypen und voller Kompatibilität mit vLLM, SGLang und Transformers.
Sterne
1.599
Forks
171
Sprache
Python
Lizenz
Apache-2.0
Letzter Push
vor 5 Tagen
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.