pegainfer-project/pegainfer

@pegainfer-project

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

↗ 在 GitHub 打开

星数

680

Fork 数

104

语言

Rust

许可

Apache-2.0

最后推送

12小时前

Rust rust llm cuda llm-inference vllm deepseek openai-api gpu cuda-kernels qwen inference inference-engine kimi kv-cache paged-attention qwen3 llm-serving model-serving moe kimi-k2

还没有相关情报

radar 追踪的来源里还没有出现过这个 repo。收集器按计划运行——等它覆盖到这个 repo 再回来看看。