vllm

トレーニング、推論、ストリーミングASR、VAD、句読点、話者ダイアライゼーションパイプライン、およびOpenAI互換/MCPサービングのためのオープンソース音声認識ツールキット

Llama Cookbookへようこそ！これはLlamaを使った構築のためのガイドブックです。推論、ファインチューニング、RAGの始め方を紹介します。また、Llamaモデルファミリーを使用してエンドツーエンドの問題を解決する方法や、様々なプロバイダーサービスでそれらを利用する方法も示します。

✍🏻 ソースコード深掘り、システム設計＆エンジニアリングブログ | Halfrost-Field 氷霜之地：ソースコード解析、システム設計とエンジニアリング実践ノート

あらゆるAIモデルに対応した、包括的なAI研究およびエンジニアリングスキルを提供するオープンソースライブラリ。このスキルをパッケージ化することで、あなたのclaude code/codex/geminiエージェントはフルパワーのAI研究エージェントになります。Orchestra Researchによってメンテナンスされています。

LMCache: 最速のKVキャッシュレイヤーでLLMを強化

Rayベースの使いやすいスケーラブルで高性能なエージェンティックRLフレームワーク (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

単一のコード行を変更するだけで、GPTを任意のLLMに置き換え可能。Xinferenceを使用すると、オープンソース、音声、マルチモーダルモデルをクラウド、オンプレミス、またはラップトップ上で実行できます。すべて統一された本番環境対応の推論APIを介して。

データセンター規模の分散推論サービングフレームワーク

Mooncakeは、Moonshot AIが提供する主要なLLMサービスKimiの提供プラットフォームです。

Kubernetes上でのスケーラブルなマルチフレームワーク展開に対応した標準化された分散型生成AIおよび予測AI推論プラットフォーム

複雑で革新的なRAGパイプラインを構築するためのローコードMCPフレームワーク

高性能なAIモデルサービング（vLLM, SGLang）およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

ローカルのOpenAI/Anthropic互換サーバー（llama.cpp, vllmなど）向けの信頼性の高いモデルスワッピング

異種LLM推論のためのプログラマブルなMixture-of-Modelsルーター

📚コード付きの素晴らしいLLM/VLM推論論文の厳選リスト：Flash-Attention、Paged-Attention、WINT8/4、Parallelismなど🎉

ML、LLM、Vision LLMを用いた構造化データ抽出、指示呼び出し、エージェントワークフロー

システムエンジニア向けにApple Silicon上でのLLM推論システムを学習：tinyなvLLM + Qwenを構築

AIエージェント向けのカスケードランタイム。エージェントループ内でコスト、レイテンシ、品質、ポリシー決定を最適化。

PaddlePaddleベースのLLMおよびVLM向け高性能推論・デプロイメントツールキット

RamaLama は、あらゆるソースからの AI モデルのローカル配信を簡素化し、コンテナのおなじみの操作性を通じて本番環境での推論への利用を容易にするオープンソースの開発者ツールです。

Ascend 上の vLLM 向けコミュニティ維持ハードウェアプラグイン

VLLM、Sglang、llama.cpp、exllamav3 用コントロールパネル

オープンソースの継続的推論ベンチマーク研究プラットフォーム — Kimi K3 2.8T、MiniMax M3、DeepSeekv4、GLM5 - GB200 NVL72対MI355X対B200対GB300 NVL72、まもなく™ TPUv6e/v7/Trainium2/3 に対応

高精度な低ビット LLM 推論のための SOTA 量子化アルゴリズム。CPU、XPU、CUDA にシームレスに最適化され、多様なデータ型をサポート。vLLM、SGLang、Transformers と完全に互換性があります。

Apple Silicon 向けの高性能な OpenAI および Anthropic 互換 LLM 推論サーバー。ネイティブ MLX、連続バッチ処理、マルチモーダルモデル、MCP ツール呼び出し、Claude Code をサポート。

動的な GPU 共有などのための仮想化 Elastic KV キャッシュ

Kubernetes向けAI推論オペレーター。本番環境でMLモデルをホストする最も簡単な方法。VLM、LLM、埋め込み、音声認識をサポート。

HF、vLLM、SGLang を介して Nvidia、AMD、Intel GPU および Intel/AMD/Apple CPU のハードウェアアクセラレーションをサポートする LLM モデル量子化 (圧縮) ツールキット。

🔒 API キーごとのコスト管理やレート制限、監視機能を提供するエンタープライズグレードの API ゲートウェイ。ユーザー、アプリケーション、環境ごとの細やかなアクセス制御と監視を実現。OpenAI、Azure OpenAI、Anthropic、vLLM、およびオープンソース LLM をサポート。

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks