NVIDIA/TensorRT-LLM
@NVIDIAO TensorRT LLM oferece aos usuários uma API Python fácil de usar para definir Large Language Models (LLMs) e suporta otimizações de ponta para realizar inferências de forma eficiente em GPUs NVIDIA. O TensorRT LLM também contém componentes para criar runtimes em Python e C++ que orquestram a execução da inferência de maneira performática.
Estrelas
14.536
Bifurcações
2.716
Linguagem
Python
Licença
NOASSERTION
Último push
há 5 dias
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.