inference

Envoy Gateway上に構築された生成AIサービスへの統合アクセスを管理

256MB RAM を搭載した 10 ドルのボード上で 10 億パラメータの LLM を実行する

AgiBot X1 の推論モジュール

マルチコア CPU 上のニューラルネットワーク向けアクセラレーションパッケージ

🤗 Hugging Face の transformer モデル向けの高効率、スケーラブル、エンタープライズグレードな CPU/GPU 推論サーバー

AI モデル向けの高性能推論エンジン

オープンソースの継続的推論ベンチマーク研究プラットフォーム — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72対MI355X対B200対GB300 NVL72、まもなく™ TPUv6e/v7/Trainium2/3 に対応

統一された API インターフェースを使用して、複数プロバイダーの LLM リクエストをルーティング、管理、分析する

多様な AI アクセラレータ向けに最適化された、LLM、VLM、DiT、REC モデル用の高性能推論エンジン。OpenAtom Foundation でホストされています。

CPU および GPU 上で動作する、Transformer 推論（Bert、Albert、GPT2、Decoder など）向けの高速で使いやすいランタイム。

nvidia-smi バイナリまたは NVML を使用する Prometheus 用 Nvidia GPU エクスポーター

10行未満のコードで、予算を抑えて ML 推論サービスをデプロイする

RTP-LLM: 多様な用途に向けた Alibaba の高性能 LLM 推論エンジン

Rust で構築された、高性能、モジュール式、メモリ安全かつ本番環境対応の推論、取り込み、インデックス作成ツール 🦀

グラフおよびペアワイズ設定における因果推論パッケージ。グラフ構造の復元や依存関係のためのツールを含む

機械学習インフラ向け PyTorch のように、Kubernetes 上で AI ワークロードを魔法のように分散および実行します。

LLM KV キャッシュ圧縮を簡単に

Qualcomm® AI Hub Modelsは、パフォーマンス（レイテンシやメモリなど）が最適化され、Qualcomm®デバイスへのデプロイの準備が整った最先端の機械学習モデルのコレクションです。

SGLang-Omni は、TTS、ASR、音声、およびオムニモデルの高性能なサービングを実現します。

Apple Silicon向けのネイティブLLM推論サーバー。OpenAIおよびAnthropic API互換。Python不要。チャット、エージェントモード、ツール呼び出し機能を備えたMLX Core macOSアプリを同梱。

C++とCUDAで高性能なLLM推論エンジンを構築する - vLLMの軽量版

スループット指向の LLM 向け高性能サービング フレームワーク

MLX Studio - JANG_Qのホーム - 画像生成/編集 ＋ チャット/コード一体型 - ＋ OpenClaw (Anthropic API)

Bolt は高いパフォーマンスと異種混合の柔軟性を備えたディープラーニングライブラリです。

📚 現代統計学入門 - 多変量関係とシミュレーションベースの推論を重視した、現代的なアプローチによる大学レベルのオープンソース教科書

複数のフレームワークからディープラーニングモデルを実行するための統一インターフェース

OpenVINO™ で最適化されたモデル向けの拡張可能な推論サーバー

高速なテキスト読み上げ生成を実現する、C/C++版の Suno AI Bark モデル

数分でアプリを構築・デプロイできるオープンソースのコンピュータビジョンフレームワーク

PyTritonは、Python環境でのTritonのデプロイをシンプルにするFlask/FastAPIライクなインターフェースです。