pegainfer-project/pegainfer

@pegainfer-project

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

↗ Abrir en GitHub

Estrellas

673

Bifurcaciones

104

Lenguaje

Rust

Licencia

Apache-2.0

Último push

hace 1 día

Rust rust llm cuda llm-inference vllm deepseek openai-api gpu cuda-kernels qwen inference inference-engine kimi kv-cache paged-attention qwen3 llm-serving model-serving moe kimi-k2

Aún no hay intel relacionado

Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.