leonickson1/Swiftlet

Swiftlet एक Swift और Metal रनटाइम है जो स्टोरेज से एक्सपर्ट वेट्स को स्ट्रीम करके Apple डिवाइस पर बड़े Qwen Mixture-of-Experts मॉडल को स्थानीय रूप से चलाता है, जिससे iPhone सहित कम RAM पर भी 35B और 80B मॉडल चलाना संभव होता है।