Luce-Org/lucebox

Server inferensi spekulatif LLM untuk perangkat konsumen dan heterogen

↗ Buka di GitHub

Bintang

2.829

Fork

268

Bahasa

C++

Lisensi

Apache-2.0

Push terakhir

6 hari yang lalu

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.