carloslfu/slotstream

Run Qwen3.8-Flash-Next (125B MoE, 104 GB at 4-bit) on Macs with a fraction of that RAM by streaming experts from SSD. MLX + Swift, Ollama-compatible API.

↗ Abrir en GitHub

Estrellas

287

Bifurcaciones

16

Lenguaje

Swift

Licencia

MIT

Último push

hace 2 días

Swift macos llm swift ollama llm-inference local-llm qwen apple-silicon mlx mixture-of-experts

Portada de Hacker Newshace 5 días

Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s

por carloslfu220 puntos101 comentariosDiscusión → Repo de GitHub: carloslfu/slotstream