pegainfer-project 收录中的开源项目,按星标数排序。
纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch,兼容 OpenAI,支持 Qwen3 至 Kimi-K2 服务