edge-ai

Hochleistungs-Server für NATS.io, das Cloud- und Edge-Native-Messaging-System.

PyTorch-Implementierung von YOLOv3, YOLOv3-SPP und YOLOv3-tiny für die Echtzeit-Objekterkennung mit Training, Validierung, Inferenz und Multiformat-Export.

LiteRT-LM ist das produktionsreife, leistungsstarke Open-Source-Inferenz-Framework von Google zur Bereitstellung von Large Language Models auf Edge-Geräten.

Quantisierung, Kernels, Laufzeit und Inferenz-Engine für Mobilgeräte, Wearables, Smart Home und Roboter.

Open-Source-Personal-Cloud-OS für Always-On-Agenten

FEDML - Die vereinheitlichte und skalierbare ML-Bibliothek für verteiltes Training im großen Maßstab, Modellbereitstellung und föderiertes Lernen. FEDML Launch, ein Cloud-übergreifender Scheduler, ermöglicht zudem die Ausführung beliebiger KI-Jobs auf jeder GPU-Cloud oder jedem On-Premise-Cluster. Basierend auf dieser Bibliothek ist TensorOpera AI (https://TensorOpera.ai) Ihre generative KI-Plattform im großen Maßstab.

Das Schweizer Taschenmesser für Offline-KI. Chatten, sehen, sprechen und Bilder generieren auf deinem Smartphone oder Mac – GGUF-LLMs, Vision, Whisper-Sprache-zu-Text, Stable Diffusion, Tool-Aufrufe und lokale Netzwerkserver. Läuft auf CPU, GPU oder NPU. Kein Konto, kein API-Key, null Daten verlassen dein Gerät.

Eine All-in-One-Inferenz-Engine in reinem C++ für Audiomodelle, angetrieben von ggml. Unterstützt TTS, STT, VAD, Sprachkonvertierung, Musikgenerierung und mehr bei hochoptimierter Leistung. Keine Python-Abhängigkeit.

MicroPython für K210 RISC-V, um Edge-AI einfacher zu nutzen

Microsoft AI for Good Lab – Biodiversitäts-Forschungszentrum. Open-Source-KI-Modelle, Edge-Geräte und Tools für Biodiversitätsüberwachung und Artenschutz. Ihre Quelle für MegaDetector, SPARROW, PytorchWildlife, Bioacoustics und mehr.

DefraDB ist eine Peer-to-Peer-Edge-First-Datenbank und das zugrundeliegende Datenspeichersystem für das Source-Ökosystem.

Android 17 Lokaler LLM-Prototyp mit Jetpack Compose und ONNX Runtime für Offline-KI-Inferenzexperimente.

Einfache Erstellung von KI-Projekten mit Python auf Edge-Geräten

Echtzeit-Sprachassistent — WebRTC-Streaming, faster-whisper ASR, lokales LLM, Vui Nano (300M) TTS. Kompatibel mit der OpenAI Realtime API. Sprachklonen, Barge-in, ca. 9-fache Echtzeit auf einer 4090. Apache 2.0.

Der Hailo Model Zoo enthält vortrainierte Modelle und eine vollständige Erstellungs- und Evaluierungsumgebung

Speech-to-Text-Benchmark-Framework

EfficientSAM3 komprimiert SAM3 durch progressive Wissensdestillation in leichtgewichtige, Edge-freundliche Modelle für schnelle, prompt-basierte Konzeptsegmentierung und -verfolgung.

Produktionsreife C++ Edge-AI-Engine für Videoanalysen und On-Device VLM auf Sophon, Rockchip RKNN und x86, inklusive visueller Orchestrierung, Echtzeit-OSD, Ereignisverwaltung und reproduzierbaren Benchmarks.

AI-in-a-Box nutzt die weltweite Expertise von Microsoft, um KI- und ML-Lösungen für die technische Community bereitzustellen. Unser Ziel ist eine kuratierte Sammlung von Lösungsbeschleunigern, die Ingenieuren helfen, ihre KI/ML-Umgebungen schnell und reibungslos aufzubauen.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

On-Device-Training mit weniger als 256 KB Speicher [NeurIPS'22].

Eine kuratierte Liste für Edge Computing, einschließlich Frameworks, Simulatoren, Tools und mehr.