Luce-Org/lucebox

Servidor de inferencia especulativa de LLM para hardware heterogéneo y de consumo

↗ Abrir en GitHub

Estrellas

2829

Bifurcaciones

268

Lenguaje

C++

Licencia

Apache-2.0

Último push

hace 6 días

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.