brontoguana/krasis

Krasis は、VRAM が限られたコンシューマー向けハードウェア上で大型モデルを効率的に実行することに特化したハイブリッド LLM ランタイムです

↗ GitHub で開く

スター

519

フォーク

33

言語

C++

ライセンス

NOASSERTION

最終プッシュ

6 日前

C++large-language-models llm-inference transformer cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization llama-cpp-alternative mixture-of-experts

関連 Intel はまだありません

このリポジトリは radar が追跡するソースにまだ登場していません。コレクターはスケジュールで動いています——このリポジトリがカバーされたらまた見てください。