intentee/paddler

Open-Source-LLM/VLM-Load-Balancer und -Serving-Plattform für das Self-Hosting von LLMs (und VLMs) im großen Stil 🏓🦙 Alternative zu Projekten wie llm-d, Docker Model Runner etc., aber mit weniger beweglichen Teilen und einfachen Deployments rund um das ggml-Ökosystem. Läuft auf CPU und GPU.