pegainfer-project/pegainfer

@pegainfer-project

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

↗ Buka di GitHub

Bintang

676

Fork

105

Bahasa

Rust

Lisensi

Apache-2.0

Push terakhir

1 hari yang lalu

Rust rust llm cuda llm-inference vllm deepseek openai-api gpu cuda-kernels qwen inference inference-engine kimi kv-cache paged-attention qwen3 llm-serving model-serving moe kimi-k2

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.