vllm

Prometheus と GPT4 を使用して LLM の応答を評価する 💯

C++とCUDAで高性能なLLM推論エンジンを構築する - vLLMの軽量版

拡散モデルおよびオムニモデル向けのマルチモーダル RL トレーニングフレームワーク

UniRL は、統合マルチモーダルモデルの強化学習用フレームワークです

LLM に関するノート。モデル推論、Transformer モデルの構造、LLM フレームワークのコード解析ノートを含む。

LLM 推論サービングと最適化のための、1日30分・10週間のロードマップ。vLLM、SGLang、量子化、予測デコード、ベンチマーク。

DeepSeek-OCR-2 AIを使用し、画像やPDFファイルを処理できるローカル、オフライン（初期設定後）、ポータブルなOCRソフトウェア（マシン上で直接実行）。

Debian上で完全プライベートなローカルLLMサーバーを構築するためのエンドツーエンドのドキュメント。チャット、ウェブ検索、RAG、モデル管理、MCPサーバー、画像生成、TTS機能を搭載。

DiscordをLLMのフロントエンドにする - OpenAI互換API（OpenRouter、Ollamaなど）をサポート

LLM（大規模言語モデル）を活用した、対話形式のデータ探索・分析用Pythonライブラリ。

[EMNLP 2024 & AAAI 2026] LLM、VLM、動画生成モデルなどの大規模モデルを圧縮するための強力なツールキット

純粋なRust + CUDAによるLLM推論エンジン — PyTorchなし、OpenAI互換、Qwen3からKimi-K2まで提供

LLM推論システム向けの正確、大規模、拡張可能なシミュレーター

EfficientSAM3 は、プログレッシブ知識蒸留により SAM3 を軽量でエッジ向けのモデルに圧縮し、高速なプロンプト駆動型コンセプトのセグメンテーションとトラッキングを実現します。

SparkTTS や OrpheusTTS などのモデルに基づき、高品質な中国語音声合成と音声クローンサービスを提供します。

[CVPR 2025] RoboBrain: 抽象から具体までのロボット操作に向けた統合脳モデル。公式リポジトリ。

Crater は、クラウドネイティブな AI トレーニングおよび推論プラットフォームです。

vLLM サーバー（www.github.com/vllm-project/vllm）を管理・操作するためのモダンな Web インターフェース。GPU と CPU の両モードをサポートし、macOS Apple Silicon 向けの特別最適化や OpenShift/Kubernetes でのエんタープライズデプロイに対応しています。

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

vLLM を使用して LLM を提供するためのコマンドラインインターフェイスツール。