pegainfer-project/pegainfer

@pegainfer-project

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

↗ Abrir no GitHub

Estrelas

676

Bifurcações

105

Linguagem

Rust

Licença

Apache-2.0

Último push

há 1 dia

Rust rust llm cuda llm-inference vllm deepseek openai-api gpu cuda-kernels qwen inference inference-engine kimi kv-cache paged-attention qwen3 llm-serving model-serving moe kimi-k2

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.