intentee

Équilibreur de charge et plateforme de service LLM/VLM open source pour l'auto-hébergement de LLM (et VLM) à grande échelle. Une alternative à des projets comme llm-d ou Docker Model Runner, avec moins de composants et des déploiements simples basés sur l'écosystème ggml. Fonctionne sur CPU et GPU.