Luce-Org/lucebox

コンシューマー向けおよび異種混在ハードウェア向けのLLM推測的推論サーバー。

↗ GitHub で開く

スター

2,829

フォーク

268

言語

C++

ライセンス

Apache-2.0

最終プッシュ

5 日前

C++spark cuda cuda-kernels qwen rocm llama-cpp kernel speculative-decoding local-ai heterogeneous-computing rtx3090 dflash luce megakernel pflash poolside r9700 speculative-prefill strix-halo

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。