leonickson1/Swiftlet
@leonickson1Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Expert-Gewichte vom Speicher gestreamt werden. Dies ermöglicht den Betrieb von 35B- und 80B-Modellen mit geringem RAM-Verbrauch, auch auf dem iPhone.
Sterne
628
Forks
34
Sprache
Swift
Lizenz
Apache-2.0
Letzter Push
vor 4 Tagen
Verwandte Intel (0)
Noch keine verwandte Intel
Dieses Repo ist noch in keiner der vom Radar verfolgten Quellen aufgetaucht. Der Collector läuft nach Zeitplan — schau wieder vorbei, sobald er dieses Repo abdeckt.