leonickson1/Swiftlet

Swiftletは、ストレージから専門家ウェイトをストリーミングすることで、Apple製デバイス上で大規模なQwen Mixture-of-Expertsモデルをローカル実行するSwiftおよびMetalランタイムです。iPhoneを含む低RAM環境でも35Bおよび80Bモデルの実行を可能にします。