edge-ai

클라우드 및 엣지 네이티브 메시징 시스템인 NATS.io를 위한 고성능 서버

학습, 검증, 추론 및 멀티 포맷 내보내기를 지원하는 실시간 객체 검출용 YOLOv3, YOLOv3-SPP, YOLOv3-tiny의 PyTorch 구현

LiteRT-LM은 엣지 디바이스에 대형 언어 모델을 배포하기 위한 Google의 프로덕션 수준 고성능 오픈 소스 추론 프레임워크입니다.

모바일, 웨어러블, 스마트 홈, 로봇을 위한 양자화, 커널, 런타임 및 추론 엔진

상시 작동 에이전트를 위한 오픈소스 퍼스널 클라우드 OS

대규모 분산 학습, 모델 서빙, 연합 학습을 위한 통합 및 확장 가능한 ML 라이브러리인 FEDML. 크로스 클라우드 스케줄러인 FEDML Launch를 통해 모든 GPU 클라우드나 온프레미스 클러스터에서 AI 작업을 실행할 수 있습니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.

오프라인 AI를 위한 스위스 아미 나이프. 휴대폰이나 Mac에서 GGUF LLM, 비전, Whisper 음성 인식, Stable Diffusion, 툴 호출, 로컬 네트워크 서버를 활용해 채팅하고, 보고, 말하고, 이미지를 생성하세요. CPU, GPU, NPU에서 실행됩니다. 계정도, API 키도 없으며 데이터가 기기 외부로 전혀 유출되지 않습니다.

ggml 기반의 오디오 모델용 올인원 순수 C++ 추론 엔진. 고조율된 성능으로 TTS, STT, VAD, 음성 변환, 음악 생성 등을 지원합니다. Python 의존성이 없습니다.

K210 RISC-V용 MicroPython, 더 쉽게 엣지 AI를 즐겨보세요

Microsoft AI for Good Lab — 생물 다양성 연구 허브. 생물 다양성 모니터링 및 보전을 위한 오픈소스 AI 모델, 엣지 디바이스 및 도구. MegaDetector, SPARROW, PytorchWildlife, Bioacoustics 등의 출처

DefraDB는 P2P 엣지 퍼스트 데이터베이스입니다. Source 에코시스템의 핵심 데이터 저장 시스템입니다.

오프라인 AI 추론 실험을 위해 Jetpack Compose와 ONNX Runtime을 사용한 안드로이드 17 로컬 LLM 프로토타입

Python을 사용하여 엣지 디바이스에서 AI 프로젝트를 쉽게 생성

실시간 음성 비서로 WebRTC 스트리밍, faster-whisper ASR, 로컬 LLM, Vui Nano(300M) TTS를 지원합니다. OpenAI Realtime API와 호환되며 음성 복제, 끼어들기(barge-in) 기능을 제공하고 4090 환경에서 실시간 대비 약 9배 속도로 작동합니다. Apache 2.0 라이선스.

Hailo Model Zoo는 사전 학습된 모델과 전체 빌드 및 평가 환경을 포함합니다.

음성 인식(Speech-to-Text) 벤치마크 프레임워크

점진적 지식 증류를 통해 SAM3를 가볍고 엣지 환경에 친화적인 모델로 압축하여, 빠른 프롬프트 기반 개념 분할 및 추적을 지원합니다.

Sophon, Rockchip RKNN, x86 등에서 비디오 분석 및 온디바이스 VLM을 지원하는 프로덕션급 C++ 엣지 AI 엔진으로, 시각적 오케스트레이션, 실시간 OSD, 이벤트 및 재현 가능한 벤치마크를 제공합니다.

AI-in-a-Box는 Microsoft의 글로벌 전문 지식을 활용하여 기술 커뮤니티에 AI 및 ML 솔루션을 제공합니다. 엔지니어가 AI/ML 환경과 솔루션을 최소한의 마찰로 신속하게 구축할 수 있도록 돕는 솔루션 액셀러레이터 모음입니다.

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

256KB 미만 메모리 환경에서의 온디바이스 학습 [NeurIPS'22]

프레임워크, 시뮬레이터, 도구 등을 포함한 훌륭한 엣지 컴퓨팅 엄선 목록