on-device-ai

Máy chủ suy luận LLM MLX Swift gốc cho Apple Silicon. API tương thích với OpenAI, truyền phát SSD cho các mô hình MoE 100B+, nén bộ nhớ đệm TurboQuant KV, ứng dụng MACOS + iOS iPhone.

Công cụ AI biên C++ cấp sản xuất cho phân tích video và VLM trên thiết bị qua Sophon, Rockchip RKNN và x86, với điều phối trực quan, OSD thời gian thực, sự kiện và các tiêu chuẩn có thể tái lập

Trình soạn thảo phương thức nhập (IME) cho Android dựa trên Whisper

Swiftlet là môi trường thực thi Swift và Metal cho phép chạy cục bộ các mô hình Qwen Mixture-of-Experts lớn trên thiết bị Apple bằng cách truyền tải trọng số chuyên gia từ bộ nhớ, giúp các mô hình 35B và 80B có thể chạy với dung lượng RAM thấp, bao gồm cả trên iPhone.

SDK AI cục bộ mã nguồn mở - chạy AI trên thiết bị mà không cần đám mây, không cần khóa API. Hỗ trợ GGUF, RAG, tạo hình ảnh, âm nhạc, video, chuyển đổi giọng nói thành văn bản, suy luận P2P và nhiều tính năng khác. Đa nền tảng: Linux, macOS, Windows, Android, iOS.

Neural Engine trên thiết bị

PennyWise tự động đọc tin nhắn SMS giao dịch và chuyển đổi chúng thành dữ liệu tài chính có tổ chức với sự hỗ trợ của AI trên thiết bị. Không cần nhập thủ công, không xử lý trên đám mây, bảo mật tuyệt đối.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Tạo hình ảnh cục bộ

Thư viện Phát hiện Hoạt động Giọng nói (VAD) cho Android. Hỗ trợ các mô hình WebRTC VAD GMM, Silero VAD DNN và Yamnet VAD DNN.