blackwell

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

SGLangは、大規模言語モデルおよびマルチモーダルモデル向けの高性能サービングフレームワークです。

TensorRT LLMは、ユーザーがLarge Language Models (LLMs) を定義するための使いやすいPython APIを提供し、NVIDIA GPU上で推論を効率的に実行するための最先端の最適化をサポートします。TensorRT LLMには、推論実行を高性能にオーケストレーションするためのPythonおよびC++ランタイムを作成するコンポーネントも含まれています。

OpenLake は、効率的な LLM 推論と GPU トレーニングを実現する高性能ストレージエンジンです

TokenSpeed は超高速な LLM 推論エンジンです。

Parallaxは、どこでも独自のAIクラスターを構築できる分散モデルサービングフレームワークです

cuDNN Frontendは、NVIDIAによるcuDNNライブラリへのモダンでオープンソースなエントリーポイントであり、高性能なオープンソースカーネルのコレクションを拡大しています。