leonickson1

Swiftlet adalah runtime Swift dan Metal yang menjalankan model Qwen Mixture-of-Experts secara lokal di perangkat Apple dengan melakukan streaming bobot expert dari penyimpanan, memungkinkan model 35B dan 80B berjalan dengan RAM rendah, termasuk di iPhone.