pegainfer-project 收錄中的開源專案,依星數排序。
純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch,相容 OpenAI,支援 Qwen3 至 Kimi-K2 服務