pegainfer-project/pegainfer

@pegainfer-project

Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है

↗ GitHub पर खोलें

स्टार

673

फ़ोर्क

104

भाषा

Rust

लाइसेंस

Apache-2.0

आख़िरी push

1 दिन पहले

Rust rust llm cuda llm-inference vllm deepseek openai-api gpu cuda-kernels qwen inference inference-engine kimi kv-cache paged-attention qwen3 llm-serving model-serving moe kimi-k2

अभी कोई संबंधित intel नहीं

यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।

संबंधित intel (0)

अभी कोई संबंधित intel नहीं