blackwell

Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje grande y modelos multimodales.

TensorRT LLM ofrece a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++ que organizan la ejecución de inferencias de alto rendimiento.

OpenLake es un motor de almacenamiento de alto rendimiento para inferencia de LLM y entrenamiento de GPU eficientes

TokenSpeed es un motor de inferencia de LLM a la velocidad de la luz.

Parallax es un framework de servicio de modelos distribuido que permite construir su propio clúster de IA en cualquier lugar

cuDNN Frontend es el punto de entrada moderno y de código abierto de NVIDIA a la biblioteca cuDNN y a una creciente colección de kernels de alto rendimiento.