Luce-Org/lucebox

适用于消费级与异构硬件的 LLM 推测式推理服务器

↗ 在 GitHub 打开

星数

2,829

Fork 数

268

语言

C++

许可

Apache-2.0

最后推送

6天前

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。