brontoguana/krasis

Krasis é um runtime LLM híbrido focado na execução eficiente de modelos maiores em hardware de nível de consumidor com VRAM limitada.

↗ Abrir no GitHub

Estrelas

519

Bifurcações

33

Linguagem

C++

Licença

NOASSERTION

Último push

há 6 dias

C++large-language-models llm-inference transformer cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization llama-cpp-alternative mixture-of-experts

Ainda não há intel relacionado

Este repo ainda não apareceu em nenhuma das fontes que o radar rastreia. O coletor roda em um cronograma — volte quando ele cobrir este repo.