edge-ai

NATS.io के लिए उच्च-प्रदर्शन वाला सर्वर, जो क्लाउड और एज नेटिव मैसेजिंग सिस्टम है।

प्रशिक्षण, सत्यापन, अनुमान और बहु-प्रारूप निर्यात के साथ वास्तविक समय वस्तु पहचान के लिए YOLOv3, YOLOv3-SPP, और YOLOv3-tiny का PyTorch कार्यान्वयन

LiteRT-LM एज डिवाइसों पर Large Language Models को तैनात करने के लिए Google का प्रोडक्शन-रेडी, उच्च-प्रदर्शन, ओपन-सोर्स इन्फेरेंस फ्रेमवर्क है।

मोबाइल, पहनने योग्य उपकरणों, स्मार्ट होम और रोबोट के लिए क्वांटाइजेशन, कर्नेल, रनटाइम और अनुमान इंजन।

हमेशा चालू रहने वाले एजेंटों के लिए ओपन-सोर्स पर्सनल क्लाउड OS

FEDML - बड़े पैमाने पर वितरित प्रशिक्षण, मॉडल सर्विंग और फ़ेडरेटेड लर्निंग के लिए एकीकृत और स्केलेबल ML लाइब्रेरी। FEDML Launch, एक क्रॉस-क्लाउड शेड्यूलर, किसी भी GPU क्लाउड या ऑन-प्रिमाइसेस क्लस्टर पर किसी भी AI जॉब को चलाने में सक्षम बनाता है। इस लाइब्रेरी पर निर्मित, TensorOpera AI (https://TensorOpera.ai) बड़े पैमाने पर आपका जनरेटिव AI प्लेटफ़ॉर्म है।

ऑफ़लाइन AI का स्विस आर्मी नाइफ। अपने फ़ोन या Mac पर चैट करें, देखें, बोलें और इमेज जनरेट करें — GGUF LLMs, विजन, Whisper स्पीच-टू-टेक्स्ट, Stable Diffusion, टूल कॉलिंग और लोकल-नेटवर्क सर्वर। आपके CPU, GPU या NPU पर चलता है। कोई खाता नहीं, कोई API की नहीं, शून्य डेटा आपके डिवाइस से बाहर जाता है।

ऑडियो मॉडल के लिए एक ऑल-इन-वन, शुद्ध C++ इन्फेरेंस इंजन, जो ggml द्वारा संचालित है। अत्यधिक अनुकूलित प्रदर्शन के साथ TTS, STT, VAD, वॉयस कन्वर्शन, म्यूजिक जनरेशन और बहुत कुछ समर्थन करता है। कोई Python निर्भरता नहीं।

K210 RISC-V के लिए MicroPython, आइए एज AI के साथ आसानी से काम करें

Microsoft AI for Good Lab — जैव विविधता अनुसंधान केंद्र। जैव विविधता की निगरानी और संरक्षण के लिए ओपन-सोर्स AI मॉडल, एज डिवाइस और उपकरण। MegaDetector, SPARROW, PytorchWildlife, Bioacoustics और अन्य के लिए आपका स्रोत।

DefraDB एक पीयर-टू-पीयर एज-फर्स्ट डेटाबेस है। यह Source इकोसिस्टम के लिए मुख्य डेटा स्टोरेज सिस्टम है।

ऑफ़लाइन AI इन्फरेंस प्रयोगों के लिए Jetpack Compose और ONNX Runtime के साथ Android 17 लोकल LLM प्रोटोटाइप।

एज डिवाइस पर Python के साथ आसानी से AI प्रोजेक्ट बनाएं।

रीयल-टाइम वॉयस असिस्टेंट — WebRTC स्ट्रीमिंग, faster-whisper ASR, लोकल LLM, Vui Nano (300M) TTS। OpenAI रीयल-टाइम API संगत। वॉयस क्लोनिंग, बार्ज-इन, 4090 पर ~9× रीयल-टाइम। Apache 2.0।

Hailo Model Zoo में प्री-ट्रेंड मॉडल और एक पूर्ण बिल्डिंग और इवैल्यूएशन एनवायरनमेंट शामिल है

स्पीच-टू-टेक्स्ट बेंचमार्क फ्रेमवर्क

EfficientSAM3 प्रोग्रेसिव नॉलेज डिस्टिलेशन के माध्यम से SAM3 को हल्के, एज-फ्रेंडली मॉडल में कंप्रेस करता है, जो तेज़ प्रॉम्प्टेबल कॉन्सेप्ट सेगमेंटेशन और ट्रैकिंग के लिए है।

Sophon, Rockchip RKNN, और x86 पर वीडियो एनालिटिक्स और ऑन-डिवाइस VLM के लिए प्रोडक्शन-ग्रेड C++ एज AI इंजन, जिसमें विजुअल ऑर्केस्ट्रेशन, रियल-टाइम OSD, इवेंट्स और पुनरुत्पादनीय बेंचमार्क शामिल हैं।

AI-in-a-Box तकनीकी समुदाय को AI और ML समाधान विकसित करने और प्रदान करने के लिए दुनिया भर में Microsoft की विशेषज्ञता का लाभ उठाता है। हमारा उद्देश्य समाधान एक्सीलरेटर का एक क्यूरेटेड संग्रह प्रस्तुत करना है जो इंजीनियरों को अपने AI/ML वातावरण और समाधानों को तेजी से और न्यूनतम घर्षण के साथ स्थापित करने में मदद कर सकता है।

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

256KB से कम मेमोरी में ऑन-डिवाइस ट्रेनिंग [NeurIPS'22]

एज कंप्यूटिंग का एक क्यूरेटेड संग्रह, जिसमें फ्रेमवर्क, सिमुलेटर, टूल्स आदि शामिल हैं।