leonickson1/Swiftlet
@leonickson1Swiftlet adalah runtime Swift dan Metal yang menjalankan model Qwen Mixture-of-Experts secara lokal di perangkat Apple dengan melakukan streaming bobot expert dari penyimpanan, memungkinkan model 35B dan 80B berjalan dengan RAM rendah, termasuk di iPhone.
Bintang
628
Fork
34
Bahasa
Swift
Lisensi
Apache-2.0
Push terakhir
3 hari yang lalu
Intel terkait (0)
Belum ada intel terkait
Repositori ini belum muncul di sumber mana pun yang dilacak radar. Kolektor berjalan sesuai jadwal — periksa kembali setelah mencakup repositori ini.