intentee/paddler

開源的 LLM/VLM 負載平衡與服務平台，可用於大規模自架 LLM（與 VLM）🏓🦙。為 llm-d、Docker Model Runner 等專案的替代方案，但組件更少、部署更簡單，並圍繞 ggml 生態系建構。支援 CPU 與 GPU 執行。