on-device-ai

Bộ công cụ sẵn sàng cho môi trường sản xuất để chạy AI cục bộ

Mô hình nền tảng 14MB dành cho các thiết bị nhỏ gọn; điện thoại, thiết bị đeo, nhà thông minh và robot.

Chạy các LLM và VLM tiên tiến cục bộ trên thiết bị Qualcomm qua NPU, GPU và CPU chỉ với vài dòng mã

Chạy suy luận Gemma 4 26B-A4B trong khoảng 2 GB RAM trên bất kỳ MacBook dòng M nào

LiteRT-LM là framework suy luận mã nguồn mở, hiệu năng cao, sẵn sàng cho môi trường sản xuất của Google để triển khai các Mô hình Ngôn ngữ Lớn trên thiết bị biên.

Lượng tử hóa, kernel, runtime và công cụ suy luận cho thiết bị di động, thiết bị đeo, nhà thông minh và robot.

AI do bạn kiểm soát: Chọn mô hình của bạn. Sở hữu dữ liệu của bạn. Loại bỏ sự phụ thuộc vào nhà cung cấp.

Công cụ quản lý tệp được hỗ trợ bởi AI đảm bảo quyền riêng tư bằng cách tổ chức các tệp văn bản và hình ảnh cục bộ. Sử dụng các mô hình Llama3.2 3B và Llava v1.6 với Nexa SDK, công cụ này trực intuitively quét, tái cấu trúc và sắp xếp các tệp để truy cập nhanh chóng, liền mạch và dễ dàng tìm kiếm.

Chạy Claude Code 100% trên thiết bị với AI cục bộ trên Apple Silicon. Máy chủ Anthropic-API gốc MLX. Gồm 6 mô hình bao gồm Muse-Glimmer 30B (đa phương thức — đọc hình ảnh), Gemma 4 31B, Qwen 3.5 122B (65 token/s), DeepSeek V4 Flash (ngữ cảnh 1M). Riêng tư, ngoại tuyến, sẵn sàng cho môi trường cách ly. Được xây dựng cho các quy trình công việc pháp lý / y tế / bảo mật thông tin.

Mano-P: Tác nhân GUI-VLA mã nguồn mở dành cho thiết bị biên. Đạt hạng #1 trên OSWorld (chuyên biệt, 58.2%). Chạy cục bộ trên Apple M4 Mac mini/MacBook — không có dữ liệu nào rời khỏi thiết bị của bạn. Mano-P là dự án GUI-VLA mã nguồn mở hỗ trợ chạy suy luận cục bộ trên Mac mini/MacBook hoặc qua thanh tính năng, đạt được tự động hóa GUI đa nền tảng điều khiển bằng thị giác thuần túy. Dữ liệu được xử lý hoàn toàn cục bộ, hỗ trợ lập kế hoạch và thực thi tác vụ nhiều bước phức tạp.

AI đa thức thời gian thực trên thiết bị với các tính năng tương tự GPT-Live

Core ML model zoo cho iOS/macOS — Các mô hình PyTorch được chuyển đổi thành tệp .mlpackage sẵn sàng sử dụng, mỗi mô hình đi kèm một tập lệnh chuyển đổi và ứng dụng mẫu SwiftUI. Các kho lưu trữ liên quan bao gồm framework Core AI của Apple (iOS/macOS 27) và các LLM chạy trên thiết bị.

Cách khai báo để chạy các mô hình AI trong React Native trên thiết bị, được hỗ trợ bởi ExecuTorch.

Trò chuyện với Mac của bạn, truy vấn tài liệu mà không cần đám mây. AI giọng nói trên thiết bị + RAG

[ICLR 2019] ProxylessNAS: Tìm kiếm kiến trúc nơ-ron trực tiếp trên tác vụ mục tiêu và phần cứng

Tinh chỉnh LLM trên máy Mac của bạn với Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding và tinh chỉnh OCR — chạy gốc trên MLX. API tương thích với Unsloth.

Thực thi LLM trên thiết bị trong React Native với khả năng tương thích Vercel AI SDK

PhoneClaw biến điện thoại thành môi trường chạy AI agent cục bộ với các mô hình trên thiết bị, Kỹ năng di động gốc, LiveLand và suy luận Mac Gateway tùy chọn.

Phòng thí nghiệm thực tế để xây dựng, kiểm thử và đánh giá các ứng dụng sử dụng framework Foundation Models của Apple.

Bản cài đặt chính thức bằng PyTorch của "EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM"

NativeMind: Trợ lý AI chạy hoàn toàn trên thiết bị, mã nguồn mở và bảo mật tuyệt đối

NobodyWho là một công cụ suy luận cho phép bạn chạy LLMs cục bộ và hiệu quả trên mọi thiết bị.

Muesli - ghi chép cuộc họp cục bộ dành cho agent trên macOS + đọc chính tả (thay thế cho Granola + WisprFlow)

PokeClaw (PocketClaw) — AI đầu tiên chạy trên thiết bị có thể điều khiển điện thoại Android của bạn. Sử dụng Gemma 4, không cần đám mây, không cần API key. Poke là viết tắt của Pocket.

[CVPR 2025] Triển khai PyTorch chính thức của "EdgeTAM: On-Device Track Anything Model"

TinyChatEngine: Thư viện suy luận LLM trên thiết bị

Trợ lý AI mã nguồn mở, ưu tiên cục bộ cho dữ liệu của bạn. Hợp nhất các tác vụ, ghi chú, tài liệu, ảnh và dấu trang. Riêng tư, tự lưu trữ và có thể mở rộng thông qua API.

Công cụ giám sát hệ thống Apple Silicon không cần sudo (GUI SwiftUI gốc) với tính năng theo dõi ANE / Media Engine / băng thông bộ nhớ

Các mô hình Whisper được tối ưu hóa cho việc truyền phát và sử dụng trên thiết bị.

Lớp bộ nhớ tệp đơn dùng chung cho tất cả các tác nhân của bạn, RAG dưới mili giây trên văn bản, ảnh và video trên Apple Silicon. Không máy chủ. Không API. Một tệp. Swift thuần túy