ome-projects/ome

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

↗ GitHub で開く

スター

506

フォーク

96

言語

Go

ライセンス

Apache-2.0

最終プッシュ

3 日前

Go llm llm-inference vllm deepseek k8s qwen llama model-serving sglang kimi-k2 model-as-a-service oracle-cloud multi-node-kubernetes pd-disaggregation

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。