intentee/paddler
@intenteePlataforma de balanceamento de carga e serviço de LLM/VLM de código aberto para auto-hospedagem de LLMs (e VLMs) em escala. Alternativa a projetos como llm-d, Docker Model Runner, etc., mas com menos partes móveis e implantações simples construídas em torno do ecossistema ggml. Executa em CPU e GPU.
Estrelas
1.665
Bifurcações
97
Linguagem
Rust
Licença
Apache-2.0
Último push
há 2 meses
Intel relacionado (0)
Ainda não há intel relacionado
Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.