model-serving

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

AIアプリやモデルを配信する最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築！

マルチモーダルモデルを用いた効率的なモデル推論のためのフレームワーク。

Kubernetes上でのスケーラブルなマルチフレームワーク展開に対応した標準化された分散型生成AIおよび予測AI推論プラットフォーム

常時稼働エージェントのためのオープンソースのパーソナルクラウドOS。

このリポジトリでは、深層学習ベースのモデルを本番環境にデプロイする際の役立つノートやリファレンスを共有します。

🚀 機械学習のための素晴らしいシステム ⚡️ AIシステム論文と業界の実践。 ⚡️ 機械学習、LLM (Large Language Model)、GenAI (Generative AI) 用のシステム。 🍻 OSDI、NSDI、SIGCOMM、SoCC、MLSysなど。 🗃️ Llama3、Mistralなど。 🧑‍💻 ビデオチュートリアル。

LightLLMは、軽量な設計、容易なスケーラビリティ、高速なパフォーマンスが特徴のPythonベースのLLM（大規模言語モデル）推論およびサービングフレームワークです。

FEDML - 大規模分散学習、モデルサービング、フェデレーテッドラーニングのための統一的でスケーラブルなMLライブラリ。クロスクラウドスケジューラであるFEDML Launchにより、あらゆるAIジョブをあらゆるGPUクラウドまたはオンプレミスクラスターで実行可能になります。このライブラリを基盤として、TensorOpera AI (https://TensorOpera.ai) はスケーラブルな生成AIプラットフォームを提供します。

数千のファインチューニングされたLLMに対応するマルチLoRA推論サーバー。

効率性、柔軟性、可用性に焦点を当てた、大規模言語モデル向けの高性能推論フレームワーク。

Ascend 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

OpenLake は、効率的な LLM 推論と GPU トレーニングを実現する高性能ストレージエンジンです

🏕️ 人間とエージェントのための再現可能な開発環境

AICI: プロンプトとしての（Wasm）プログラム

MLRunは、ライフサイクル全体を通じて継続的なMLアプリケーションを迅速に構築・管理するためのオープンソースのMLOpsプラットフォームです。開発およびCI/CD環境に統合され、本番データ、MLパイプライン、オンラインアプリケーションの配信を自動化します。

AI/ML モデル、データセット、コード、設定を OCI Artifact にパッケージングおよびバージョン管理するための CNCF 製オープンソース DevOps ツール

RTP-LLM: 多様な用途に向けた Alibaba の高性能 LLM 推論エンジン

Hopsworks - Feature Store を備えたデータ密集型 AI プラットフォーム

AI/ML モデルを本番環境で運用する最も簡単な方法

SGLang-Omni は、TTS、ASR、音声、およびオムニモデルの高性能なサービングを実現します。

スループット指向の LLM 向け高性能サービング フレームワーク

OpenVINO™ で最適化されたモデル向けの拡張可能な推論サーバー

Llamaとその派生モデル向けの高最適化されたLLM推論加速エンジン。

動的バッチ処理と CPU/GPU パイプラインを提供し、計算マシンの性能を最大限に引き出す高性能な ML モデルサービングフレームワーク

すべての人に向けたサーバーレス LLM サービング

古典的な ML モデル向けの Ollama。XGBoost、LightGBM、scikit-learn、CatBoost、ONNX モデルをネイティブの C99 推論コードに変換する AOT コンパイラ。1 つのコマンドでロードし、1 つのコマンドでサーブする。Python 推論より 336 倍高速。

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

機械学習モデルを本番環境で提供するためのFastAPIスケルトンアプリ