on-device-ai

로컬에서 AI를 실행하기 위한 프로덕션 준비 완료 툴킷

스마트폰, 웨어러블, 스마트 홈, 로봇 등 소형 기기를 위한 14MB 파운데이션 모델입니다.

몇 줄의 코드로 NPU, GPU, CPU 전반에 걸쳐 Qualcomm 기기에서 로컬로 프론티어 LLM 및 VLM 실행

모든 M시리즈 MacBook에서 약 2GB의 RAM으로 Gemma 4 26B-A4B 추론 수행

LiteRT-LM은 엣지 디바이스에 대형 언어 모델을 배포하기 위한 Google의 프로덕션 수준 고성능 오픈 소스 추론 프레임워크입니다.

모바일, 웨어러블, 스마트 홈, 로봇을 위한 양자화, 커널, 런타임 및 추론 엔진

사용자가 제어하는 AI: 모델을 선택하고, 데이터를 소유하며, 특정 공급업체 종속을 없애세요.

로컬 텍스트와 이미지를 정리하여 개인 보호를 보장하는 AI 기반 파일 관리 도구입니다. Nexa SDK와 함께 Llama3.2 3B 및 Llava v1.6 모델을 사용하여 빠르고 매끄러운 접근과 쉬운 검색을 위해 파일을 직관적으로 스캔, 재구성 및 정리합니다.

Apple Silicon에서 로컬 AI를 사용하여 Claude Code를 100% 온디바이스로 실행합니다. MLX 네이티브 Anthropic API 서버. Muse-Glimmer 30B(멀티모달 지원, 이미지 판독 가능, 검열 해제됨), Gemma 4 31B, Qwen 3.5 122B(초당 65토큰), DeepSeek V4 Flash(1M 컨텍스트) 등 6개 모델 탑재. 개인용, 오프라인, 에어갭 환경 지원. NDA, 법률, 의료 워크플로우를 위해 제작되었습니다.

Mano-P: 엣지 디바이스를 위한 오픈소스 GUI-VLA 에이전트. OSWorld 1위(특화 분야, 58.2%). Apple M4 Mac mini/MacBook에서 로컬로 실행되며 데이터가 기기를 벗어나지 않습니다.

GPT-Live와 유사한 기능을 갖춘 온디바이스 실시간 멀티모달 AI

iOS/macOS용 Core ML 모델 주(Zoo) — 사용 준비가 완료된 .mlpackage로 변환된 PyTorch 모델, 각각의 변환 스크립트와 SwiftUI 샘플 앱 포함. 관련 저장소는 Apple의 Core AI 프레임워크와 온디바이스 LLM을 다룹니다.

ExecuTorch 기반의 React Native 기기 내 AI 모델 실행을 위한 선언적 방식.

클라우드 없이 Mac과 대화하고 문서에 대해 질의하세요. 온디바이스 음성 AI + RAG

[ICLR 2019] ProxylessNAS: 타겟 태스크 및 하드웨어를 위한 직접 신경망 아키텍처 검색

Apple Silicon Mac에서 LLM 파인튜닝. MLX 네이티브 기반 SFT, DPO, GRPO, Vision, TTS, STT, Embedding, OCR 파인튜닝 지원. Unsloth 호환 API.

Vercel AI SDK 호환성을 제공하는 React Native 온디바이스 LLM 실행

PhoneClaw는 온디바이스 모델, 네이티브 모바일 Skills, LiveLand 및 선택적 Mac Gateway 추론을 통해 스마트폰을 로컬 AI 에이전트 런타임으로 전환합니다.

Apple의 Foundation Models 프레임워크를 사용하여 앱을 빌드, 테스트 및 평가하기 위한 실습 랩

EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM의 공식 PyTorch 구현입니다.

NativeMind: 완벽하게 프라이버시가 보호되는 오픈소스 온디바이스 AI 어시스턴트

모든 기기에서 LLM을 로컬로 효율적으로 실행할 수 있게 해주는 추론 엔진 NobodyWho

Muesli - macOS용 로컬 회의 녹음 텍스트 변환 + 받아쓰기 (Granola + WisprFlow 대안)

PokeClaw (PocketClaw) — 안드로이드폰을 제어하는 최초의 온디바이스 AI. Gemma 4, 클라우드 없음, API 키 없음. Poke는 Pocket의 줄임말입니다.

[CVPR 2025] "EdgeTAM: On-Device Track Anything Model"의 공식 PyTorch 구현체

TinyChatEngine: 온디바이스 LLM 추론 라이브러리

ANE / Media Engine / 메모리 대역폭 추적 기능을 갖춘 Sudo 권한이 필요 없는 Apple Silicon 시스템 모니터 (네이티브 SwiftUI GUI)

데이터를 위한 로컬 퍼스트, 오픈소스 AI 어시스턴트. 작업, 메모, 문서, 사진, 북마크를 통합합니다. 프라이빗하며, 자체 호스팅이 가능하고 API를 통해 확장할 수 있습니다.

스트리밍 및 온디바이스 사용을 위해 최적화된 Whisper 모델

Apple Silicon에서 모든 에이전트를 위한 공유 단일 파일 메모리 레이어, 텍스트·사진·비디오에 대한 밀리초 미만의 RAG. 서버 없음. API 없음. 단 하나의 파일. 순수 Swift