Luce-Org/lucebox

Serveur d'inférence spéculative LLM pour matériel grand public et hétérogène

↗ Ouvrir sur GitHub

Étoiles

2 829

Bifurcations

268

Langage

C++

Licence

Apache-2.0

Dernier push

il y a 5 jours

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

Aucune intel associée pour le moment

Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.