brontoguana/krasis

Krasis adalah runtime Hybrid LLM yang berfokus pada efisiensi menjalankan model yang lebih besar pada perangkat keras tingkat konsumen dengan VRAM terbatas

↗ Buka di GitHub

Bintang

519

Fork

Bahasa

C++

Lisensi

NOASSERTION

Push terakhir

5 hari yang lalu

C++large-language-models llm-inference transformer cpu-inference gguf-model-support gpu-inference high-performance-inference hybrid-inference inference-engine inference-optimization llama-cpp-alternative mixture-of-experts

Belum ada intel terkait

Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.

Intel terkait (0)

Belum ada intel terkait