Luce-Org/lucebox

Servidor de inferência especulativa de LLM para hardware de consumo e heterogêneo

↗ Abrir no GitHub

Estrelas

2.813

Bifurcações

268

Linguagem

C++

Licença

Apache-2.0

Último push

há 2 dias

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.