ome-projects/ome

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

↗ 在 GitHub 開啟

星數

506

Fork 數

96

語言

Go

授權

Apache-2.0

最後推送

2 天前

Go llm llm-inference vllm deepseek k8s qwen llama model-serving sglang kimi-k2 model-as-a-service oracle-cloud multi-node-kubernetes pd-disaggregation

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。