NVIDIA/TensorRT-LLM

TensorRT LLM 为用户提供易用的 Python API 来定义大型语言模型（LLM），并支持最先进的优化，以在 NVIDIA GPU 上高效执行推理。TensorRT LLM 还包含创建 Python 和 C++ 运行时的组件，以高性能方式编排推理执行。

↗ 在 GitHub 打开

星数

14,498

Fork 数

2,701

语言

Python

许可

NOASSERTION

最后推送

2天前

Python cuda pytorch llm-serving moe blackwell

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。