ModelCloud/GPTQModel

LLM-Modell-Quantisierungs- (Kompprimierungs-) Toolkit mit Hardware-Beschleunigungsunterstützung für Nvidia-, AMD-, Intel-GPUs und Intel/AMD/Apple-CPUs über HF, vLLM und SGLang.

↗ Auf GitHub öffnen

Sterne

1.248

Forks

204

Sprache

Python

Lizenz

NOASSERTION

Letzter Push

vor 3 Tagen

Python vllm transformers quantization sglang peft optimum gptq

Noch keine verwandte Intel

Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.

Verwandte Intel (0)

Noch keine verwandte Intel