on-device-ai

Apple Silicon용 네이티브 MLX Swift LLM 추론 서버입니다. OpenAI 호환 API, 100B+ MoE 모델을 위한 SSD 스트리밍, TurboQuant KV 캐시 압축, macOS 및 iOS 앱을 지원합니다.

Sophon, Rockchip RKNN, x86 등에서 비디오 분석 및 온디바이스 VLM을 지원하는 프로덕션급 C++ 엣지 AI 엔진으로, 시각적 오케스트레이션, 실시간 OSD, 이벤트 및 재현 가능한 벤치마크를 제공합니다.

Whisper 기반의 Android 입력 방식 편집기(IME)

Swiftlet은 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행하기 위한 Swift 및 Metal 런타임입니다. 스토리지에서 전문가 가중치를 스트리밍하여 iPhone을 포함한 저사양 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.

오픈소스 로컬 AI SDK - 클라우드나 API 키 없이 기기 내에서 AI를 실행합니다. GGUF, RAG, 이미지·음악·동영상 생성, 음성 인식, P2P 추론 등을 지원합니다. 크로스 플랫폼 지원: Linux, macOS, Windows, Android, iOS.

온디바이스 뉴럴 엔진

PennyWise는 거래 SMS 메시지를 자동으로 읽고 온디바이스 AI를 통해 체계적인 금융 데이터로 변환합니다. 수동 입력이나 클라우드 처리 없이 완벽한 개인정보 보호를 제공합니다.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

로컬에서 이미지를 생성합니다.

Android 음성 활동 감지(VAD) 라이브러리. WebRTC VAD GMM, Silero VAD DNN, Yamnet VAD DNN 모델을 지원합니다.