Luce-Org/lucebox

適用於消費級與異質硬體的 LLM 推測式推論伺服器

↗ 在 GitHub 開啟

星數

2,829

Fork 數

268

語言

C++

授權

Apache-2.0

最後推送

6 天前

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

還沒有相關情報

radar 追蹤的來源裡還沒有出現過這個 repo。收集器照排程執行——等它涵蓋到這個 repo 再回來看看。