turboderp-org/exllamav2
@turboderp-orgEine schnelle Inferenzbibliothek zum lokalen Ausführen von LLMs auf modernen Consumer-GPUs.
Sterne
4.614
Forks
341
Sprache
Python
Lizenz
MIT
Letzter Push
vor 6 Monaten
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.