inference

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

オブジェクト検出、インスタンスセグメンテーション、分類、トレーニング、エクスポートのためのPyTorchにおけるUltralytics YOLOv5。

OpenAIのWhisperモデルのC/C++ポート

DeepSpeedは、分散学習と推論を容易に、効率的かつ効果的に行うための深層学習最適化ライブラリです。

大規模AIモデルをより安価に、より高速に、よりアクセスしやすくする

ライブおよびストリーミングメディア向けのクロスプラットフォーム対応のカスタマイズ可能なMLソリューション。

SGLangは、大規模言語モデルおよびマルチモーダルモデル向けの高性能サービングフレームワークです。

CTranslate2による高速なWhisper文字起こし

ncnnは、モバイルプラットフォーム向けに最適化された高性能なニューラルネットワーク推論フレームワークです

機械学習エンジニアリング オープンブック

Nano vLLM

🎨 スマートな型推論を備えた、TypeScriptのための網羅的なパターンマッチングライブラリ

NVIDIA® TensorRT™は、NVIDIA GPU上での高性能な深層学習推論のためのSDKです。このリポジトリにはTensorRTのオープンソースコンポーネントが含まれています。

LMCache: 最速のKVキャッシュレイヤーでLLMを強化

例 📓 Amazon SageMaker を使用して機械学習モデルを構築、トレーニング、デプロイする方法を示す Jupyter ノートブック。

Triton Inference Serverは、最適化されたクラウドおよびエッジ推論ソリューションを提供します。

OpenVINO™は、AI推論の最適化とデプロイのためのオープンソースツールキットです。

PyTorchによるYOLOv3、YOLOv3-SPP、およびYOLOv3-tinyの実装。トレーニング、検証、推論、マルチフォーマットエクスポートを備えたリアルタイム物体検出用。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

ローカルでAIを実行するための本番環境対応ツールキット

単一のコード行を変更するだけで、GPTを任意のLLMに置き換え可能。Xinferenceを使用すると、オープンソース、音声、マルチモーダルモデルをクラウド、オンプレミス、またはラップトップ上で実行できます。すべて統一された本番環境対応の推論APIを介して。

Qwen、Gemma、または任意のオープンウェイトLLMを簡単にファインチューニング、評価、デプロイ可能！

TensorRTとNVIDIA Jetsonを使用した深層学習推論ネットワークおよび深視覚プリミティブのデプロイガイド

IOデコード/エンコードのためのランタイム型システム

マルチモーダルモデルを用いた効率的なモデル推論のためのフレームワーク。

Mooncakeは、Moonshot AIが提供する主要なLLMサービスKimiの提供プラットフォームです。

Apple Silicon向けオンデバイス音声AI

Adversarial Robustness Toolbox (ART) - 機械学習セキュリティのためのPythonライブラリ - 敵対的攻撃（Evasion, Poisoning, Extraction, Inference） - レッドチームとブルーチーム

高性能なAIモデルサービング（vLLM, SGLang）およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

異種LLM推論のためのプログラマブルなMixture-of-Modelsルーター