NVIDIA/TensorRT-LLM
@NVIDIATensorRT LLM bietet Benutzern eine benutzerfreundliche Python-API zum Definieren von Large Language Models (LLMs) und unterstützt modernste Optimierungen zur effizienten Inferenz auf NVIDIA-GPUs. TensorRT LLM enthält zudem Komponenten zum Erstellen von Python- und C++-Runtimes, die die Inferenzausführung performant steuern.
Sterne
14.536
Forks
2.716
Sprache
Python
Lizenz
NOASSERTION
Letzter Push
vor 5 Tagen
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.