brontoguana/krasis

Krasis est un runtime LLM hybride axé sur l'exécution efficace de grands modèles sur du matériel grand public à VRAM limitée.

↗ Ouvrir sur GitHub

Étoiles

519

Bifurcations

33

Langage

C++

Licence

NOASSERTION

Dernier push

il y a 6 jours

C++large-language-models llm-inference transformer cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization llama-cpp-alternative mixture-of-experts

Aucune intel associée pour le moment

Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.