edge-ai

Server hiệu suất cao cho NATS.io, hệ thống nhắn tin gốc trên đám mây và biên (edge native).

Bản cài đặt PyTorch của YOLOv3, YOLOv3-SPP và YOLOv3-tiny dùng để phát hiện đối tượng thời gian thực với tính năng huấn luyện, xác thực, suy luận và xuất ra nhiều định dạng.

LiteRT-LM là framework suy luận mã nguồn mở, hiệu năng cao, sẵn sàng cho môi trường sản xuất của Google để triển khai các Mô hình Ngôn ngữ Lớn trên thiết bị biên.

Lượng tử hóa, kernel, runtime và công cụ suy luận cho thiết bị di động, thiết bị đeo, nhà thông minh và robot.

Hệ điều hành đám mây cá nhân mã nguồn mở dành cho các Agent luôn hoạt động (Always-On Agents)

FEDML - Thư viện ML thống nhất và có khả năng mở rộng cho việc huấn luyện phân tán quy mô lớn, phục vụ mô hình và học liên hợp. FEDML Launch, một bộ lập lịch đa đám mây, hỗ trợ chạy bất kỳ tác vụ AI nào trên bất kỳ đám mây GPU hoặc cụm máy chủ nội bộ nào. Được xây dựng trên thư viện này, TensorOpera AI (https://TensorOpera.ai) là nền tảng AI tạo sinh quy mô lớn của bạn.

Bộ công cụ đa năng cho AI ngoại tuyến. Trò chuyện, xem, nói chuyện và tạo hình ảnh trên điện thoại hoặc Mac — GGUF LLMs, thị giác máy tính, chuyển giọng nói thành văn bản Whisper, Stable Diffusion, gọi công cụ và máy chủ mạng nội bộ. Chạy trên CPU, GPU hoặc NPU của bạn. Không tài khoản, không khóa API, dữ liệu không rời khỏi thiết bị của bạn.

Một công cụ suy luận C++ thuần túy, tất cả trong một dành cho các mô hình âm thanh, được hỗ trợ bởi ggml. Hỗ trợ TTS, STT, VAD, chuyển đổi giọng nói, tạo nhạc và nhiều tính năng khác với hiệu năng được tối ưu hóa cao. Không phụ thuộc Python.

MicroPython cho K210 RISC-V, giúp việc vọc vạch AI biên trở nên dễ dàng hơn

Microsoft AI for Good Lab — Trung tâm nghiên cứu đa dạng sinh học. Các mô hình AI mã nguồn mở, thiết bị biên và công cụ giám sát, bảo tồn đa dạng sinh học. Nguồn cung cấp MegaDetector, SPARROW, PytorchWildlife, Bioacoustics và nhiều hơn nữa.

DefraDB là cơ sở dữ liệu Peer-to-Peer ưu tiên Edge. Đây là hệ thống lưu trữ dữ liệu cốt lõi cho Source Ecosystem.

Nguyên mẫu LLM cục bộ trên Android 17 sử dụng Jetpack Compose và ONNX Runtime cho các thí nghiệm suy luận AI ngoại tuyến.

Dễ dàng tạo các dự án AI với Python trên thiết bị biên

Trợ lý giọng nói thời gian thực — hỗ trợ truyền phát WebRTC, ASR faster-whisper, LLM cục bộ, TTS Vui Nano (300M). Tương thích với OpenAI Realtime API. Hỗ trợ sao chép giọng nói, ngắt lời, đạt tốc độ ~9× thời gian thực trên card 4090. Giấy phép Apache 2.0.

Hailo Model Zoo bao gồm các mô hình đã được huấn luyện sẵn cùng môi trường xây dựng và đánh giá đầy đủ

Khung đánh giá hiệu năng chuyển đổi giọng nói thành văn bản

EfficientSAM3 nén SAM3 thành các mô hình nhẹ, thân thiện với thiết bị biên thông qua chưng cất tri thức lũy tiến để phân đoạn và theo dõi khái niệm nhanh chóng.

Công cụ AI biên C++ cấp sản xuất cho phân tích video và VLM trên thiết bị qua Sophon, Rockchip RKNN và x86, với điều phối trực quan, OSD thời gian thực, sự kiện và các tiêu chuẩn có thể tái lập

AI-in-a-Box tận dụng chuyên môn toàn cầu của Microsoft để phát triển và cung cấp các giải pháp AI và ML cho cộng đồng kỹ thuật. Mục tiêu của chúng tôi là cung cấp bộ sưu tập các giải pháp tăng tốc giúp kỹ sư thiết lập môi trường AI/ML nhanh chóng và giảm thiểu khó khăn.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Huấn luyện trên thiết bị với bộ nhớ dưới 256KB [NeurIPS'22]

Danh sách tổng hợp về điện toán biên (edge computing), bao gồm các Framework, trình mô phỏng, công cụ, v.v.