intentee/paddler

Balanceador de carga y plataforma de servicio de código abierto para LLM/VLM, diseñado para el autoalojamiento a escala. Alternativa a proyectos como llm-d o Docker Model Runner, con menos componentes y despliegues sencillos basados en el ecosistema ggml. Funciona en CPU y GPU.