leonickson1/Swiftlet
@leonickson1Swiftlet은 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행하기 위한 Swift 및 Metal 런타임입니다. 스토리지에서 전문가 가중치를 스트리밍하여 iPhone을 포함한 저사양 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.
스타
618
포크
32
언어
Swift
라이선스
Apache-2.0
마지막 푸시
2일 전
관련 인텔 (0)
아직 관련 인텔이 없습니다
이 저장소는 radar가 추적하는 어떤 소스에도 아직 등장하지 않았습니다. 수집기는 예약에 따라 실행됩니다——이 저장소를 다루게 되면 다시 확인하세요.