leonickson1/Swiftlet
@leonickson1Swiftlet es un entorno de ejecución de Swift y Metal que ejecuta modelos de mezcla de expertos Qwen de gran tamaño localmente en dispositivos Apple mediante la transmisión de pesos de expertos desde el almacenamiento, permitiendo ejecutar modelos de 35B y 80B con poca memoria RAM, incluso en iPhone.
Estrellas
618
Bifurcaciones
32
Lenguaje
Swift
Licencia
Apache-2.0
Último push
hace 2 días
Intel relacionado (0)
Aún no hay intel relacionado
Este repo no ha aparecido en ninguna de las fuentes que rastrea el radar. El recopilador funciona con un horario — vuelve cuando lo haya cubierto.