ai-dynamo 收錄中的開源專案,依星數排序。
資料中心規模的分布式推論服務框架
NVIDIA 推論傳輸函式庫 (NIXL)
AIPerf 是一個綜合基準測試工具,用於測量由您偏好的推理方案所提供的生成式 AI 模型效能。