NVIDIA/TensorRT-LLM

TensorRT LLM 為使用者提供易於使用的 Python API 來定義大型語言模型（LLM），並支援最先進的最佳化，以在 NVIDIA GPU 上高效執行推論。TensorRT LLM 亦包含建立 Python 與 C++ 執行環境的元件，以高效方式協調推論執行。

↗ 在 GitHub 開啟

星數

14,536

Fork 數

2,716

語言

Python

授權

NOASSERTION

最後推送

6 天前

Python cuda pytorch llm-serving moe blackwell

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。