inference

TensorRT C++ API 튜토리얼

별도의 설치나 Bazel 없이 C++에서 TensorFlow 모델 실행하기

Continual learning infra for self-improving agents

매직 넘버 서명을 확인하여 바이너리 파일 타입을 유추하는 작고 의존성 없는 빠른 Python 패키지

SageMaker Studio Lab 작업용 예제 노트북입니다. 아래 링크에서 계정을 가입하세요!

AI 생산성 도구 - 무료 오픈소스, 사용자 생산성 향상 및 프라이버시와 데이터 보안 보호. 포함 내용(이에 국한되지 않음): 내장형 로컬 전용 ChatGPT, DeepSeek, Phi, Qwen 등의 모델, 이미지·비디오·오디오 등의 원클릭 일괄 지능형 처리.

Apple Silicon용 네이티브 MLX Swift LLM 추론 서버입니다. OpenAI 호환 API, 100B+ MoE 모델을 위한 SSD 스트리밍, TurboQuant KV 캐시 압축, macOS 및 iOS 앱을 지원합니다.

경량 LLM 모델 추론 프레임워크

마이크로컨트롤러 및 임베디드 장치를 위한 머신러닝 추론 엔진

블라인드 WAF 식별 도구

yolort는 tensorrt, libtorch, onnxruntime, tvm, ncnn 등 특화된 가속기에서 yolov5를 실행하기 위한 런타임 스택입니다.

Privacy Meter: 통계 및 머신러닝 알고리즘의 데이터 프라이버시를 감사하기 위한 오픈소스 라이브러리

Graph Data Science: Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow 등과 통합되어 지식 그래프를 구축하기 위한 Python 추상화 계층

전통적인 ML 모델을 위한 Ollama입니다. XGBoost, LightGBM, scikit-learn, CatBoost 및 ONNX 모델을 네이티브 C99 추론 코드로 변환하는 AOT 컴파일러로, Python 추론 대비 336배 빠릅니다.

최신 YOLOv3 객체 탐지기를 처음부터 학습

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

LLM 추론 시스템을 위한 정확하고 확장 가능한 대규모 시뮬레이터

하드웨어 가속을 지원하는 임베디드 장치용 경량 휴대용 순수 C99 ONNX 추론 엔진입니다.

고성능 서버리스 GPU 작업 오케스트레이션 — wavespeed.ai의 스케줄링 계층

llama3 추론 과정을 단계별로 학습하고 핵심 개념 파악, 프로세스 유도 및 코드 구현

Deep Learning Streamer(DL Streamer) 파이프라인 프레임워크는 GStreamer 멀티미디어 프레임워크를 기반으로 클라우드나 엣지에서 복잡한 미디어 분석 파이프라인을 구축하기 위한 오픈 소스 스트리밍 미디어 분석 프레임워크입니다.

mmdetection 모델을 TensorRT로 변환 (fp16, int8, 배치 입력, 동적 형태 지원)

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

YOLO 소형 객체 탐지 및 인스턴스 분할을 위한 Python 라이브러리

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ 오픈소스 LLM을 간편하게 미세조정, 빌드 및 배포하세요!

Kubernetes에서 딥러닝 워크로드를 더 쉽고 효율적으로 실행

Triton Model Analyzer는 Triton Inference Server 모델의 연산 및 메모리 요구 사항을 더 잘 이해하도록 돕는 CLI 도구입니다.

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

보안 엔클레이브(Secure Enclave)를 활용한 기밀 AI 배포