carloslfu/slotstream

Run Qwen3.8-Flash-Next (125B MoE, 104 GB at 4-bit) on Macs with a fraction of that RAM by streaming experts from SSD. MLX + Swift, Ollama-compatible API.

↗ Buka di GitHub

Bintang

287

Fork

16

Bahasa

Swift

Lisensi

MIT

Push terakhir

2 hari yang lalu

Swift macos llm swift ollama llm-inference local-llm qwen apple-silicon mlx mixture-of-experts

Halaman Depan Hacker News5 hari yang lalu

Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s

oleh carloslfu220 poin101 komentarDiskusi → Repositori GitHub: carloslfu/slotstream