intentee

Plataforma de balanceamento de carga e serviço de LLM/VLM de código aberto para auto-hospedagem de LLMs (e VLMs) em escala. Alternativa a projetos como llm-d, Docker Model Runner, etc., mas com menos partes móveis e implantações simples construídas em torno do ecossistema ggml. Executa em CPU e GPU.