llm-serving

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

RayはAIコンピューティングエンジンです。Rayは、コアとなる分散ランタイムと、MLワークロードを高速化するためのAIライブラリ群で構成されています。

本プロジェクトは、大規模モデル関連の技術原理および実戦経験（大規模モデルのエンジニアリング、大規模モデルのアプリケーション実装）を共有することを目的としています。

TensorRT LLMは、ユーザーがLarge Language Models (LLMs) を定義するための使いやすいPython APIを提供し、NVIDIA GPU上で推論を効率的に実行するための最先端の最適化をサポートします。TensorRT LLMには、推論実行を高性能にオーケストレーションするためのPythonおよびC++ランタイムを作成するコンポーネントも含まれています。

DeepSeekやLlamaなどのオープンソースLLMを、クラウド上でOpenAI互換のAPIエンドポイントとして実行できます。

最先端チームのためのAIコンピューティングプラットフォーム。SkyPilotは断片化されたAIコンピューティングを単一のAIスーパーコンピューターに変換し、最先端のAIチームがカスタムインテリジェンスをより速く構築できるようにします。

AIアプリやモデルを配信する最も簡単な方法 - モデル推論API、ジョブキュー、LLMアプリ、マルチモデルパイプラインなどを構築！

高性能なAIモデルサービング（vLLM, SGLang）およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

Superduper: カスタムAIアプリケーションおよびエージェントを構築するためのエンドツーエンドフレームワーク。

数千のファインチューニングされたLLMに対応するマルチLoRA推論サーバー。

PaddlePaddleベースのLLMおよびVLM向け高性能推論・デプロイメントツールキット

効率性、柔軟性、可用性に焦点を当てた、大規模言語モデル向けの高性能推論フレームワーク。

Ascend 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

MoBA: 長コンテキストLLMのためのMixture of Block Attention

AICI: プロンプトとしての（Wasm）プログラム

オープンソースの継続的推論ベンチマーク研究プラットフォーム — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72対MI355X対B200対GB300 NVL72、まもなく™ TPUv6e/v7/Trainium2/3 に対応

Parallaxは、どこでも独自のAIクラスターを構築できる分散モデルサービングフレームワークです

RTP-LLM: 多様な用途に向けた Alibaba の高性能 LLM 推論エンジン

動的な GPU 共有などのための仮想化 Elastic KV キャッシュ

スループット指向の LLM 向け高性能サービング フレームワーク

Llamaとその派生モデル向けの高最適化されたLLM推論加速エンジン。

動的バッチ処理と CPU/GPU パイプラインを提供し、計算マシンの性能を最大限に引き出す高性能な ML モデルサービングフレームワーク

♾️ スペックコーディングを備えたプライベートエージェントフリート。各エージェントは専用の GPU アクセラレーション付きデスクトップを取得します。完全なプライベート AI スタック上で Claude、Codex、Gemini およびオープンモデルを実行 ♾️

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

LLM（大規模言語モデル）のファインチューニング