vllm-project

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジン

マルチモーダルモデルを用いた効率的なモデル推論のためのフレームワーク。

異種LLM推論のためのプログラマブルなMixture-of-Modelsルーター

GenAI推論のためのコスト効率が高くプラグイン可能なインフラストラクチャコンポーネント。

vLLMでの最適化されたデプロイメントのために、様々な圧縮アルゴリズムをLLMに適用するためのTransformers互換ライブラリ。

Ascend 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

コミュニティ主導のパフォーマンス最適化を備えた、K8Sネイティブのクラスター全体デプロイメントのためのvLLMリファレンスシステム

Apple Silicon 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

実際の推論ニーズに合わせて LLM のデプロイを評価および強化する

vLLM を実行するための一般的なレシピ

vLLM における LLM 推論用の予測デコード（speculative decoding）アルゴリズムの構築、評価、保存を行うための統合ライブラリ