NVIDIA/TensorRT-LLM
@NVIDIATensorRT LLMは、ユーザーがLarge Language Models (LLMs) を定義するための使いやすいPython APIを提供し、NVIDIA GPU上で推論を効率的に実行するための最先端の最適化をサポートします。TensorRT LLMには、推論実行を高性能にオーケストレーションするためのPythonおよびC++ランタイムを作成するコンポーネントも含まれています。
スター
14,536
フォーク
2,716
言語
Python
ライセンス
NOASSERTION
最終プッシュ
3 日前
関連 Intel（0）
関連 Intel はまだありません
このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。