brontoguana/krasis

Krasis는 소비자용 VRAM 제한 하드웨어에서 대형 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다.

↗ GitHub에서 열기

스타

519

포크

33

언어

C++

라이선스

NOASSERTION

마지막 푸시

6일 전

C++large-language-models llm-inference transformer cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization llama-cpp-alternative mixture-of-experts

아직 관련 인텔이 없습니다

이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.