brontoguana/krasis

Krasis एक हाइब्रिड LLM रनटाइम है जो सीमित VRAM वाले उपभोक्ता-ग्रेड हार्डवेयर पर बड़े मॉडलों को कुशलतापूर्वक चलाने पर केंद्रित है

↗ GitHub पर खोलें

स्टार

519

फ़ोर्क

भाषा

C++

लाइसेंस

NOASSERTION

आख़िरी push

1 सप्ताह पहले

C++large-language-models llm-inference transformer cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization llama-cpp-alternative mixture-of-experts

अभी कोई संबंधित intel नहीं

यह रिपॉजिटरी radar द्वारा ट्रैक किए जाने वाले किसी भी स्रोत में अभी तक नहीं आई है। कलेक्टर एक शेड्यूल पर चलता है — जब यह इस रिपॉजिटरी को कवर करे तब वापस देखें।

संबंधित intel (0)

अभी कोई संबंधित intel नहीं