leonickson1

Swiftlet ist eine Swift- und Metal-Laufzeitumgebung, die große Qwen Mixture-of-Experts-Modelle lokal auf Apple-Geräten ausführt, indem Expert-Gewichte vom Speicher gestreamt werden. Dies ermöglicht den Betrieb von 35B- und 80B-Modellen mit geringem RAM-Verbrauch, auch auf dem iPhone.