inference

TensorRT C++ API Tutorial

TensorFlow-Modelle in C++ ohne Installation und ohne Bazel ausführen

Kleine, abhängigkeitsfreie und schnelle Python-Bibliothek zur Bestimmung von Binärdateitypen anhand von Magic-Number-Signaturen.

Beispiel-Notebooks für die Arbeit mit SageMaker Studio Lab. Registrieren Sie sich über den Link unten für ein Konto!

KI-Produktivitätstool – Kostenlos und Open Source, verbessert die Benutzerproduktivität und schützt Privatsphäre sowie Datensicherheit. Beinhaltet unter anderem: integrierte lokale exklusive ChatGPT-, DeepSeek-, Phi-, Qwen- und andere Modelle, KI-gestützte Stapelverarbeitung von Bildern, Videos, Audio usw. mit nur einem Klick.

⚡ Nativer MLX Swift LLM Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, macOS + iOS iPhone-App.

Machine-Learning-Inferenz-Engine für Mikrocontroller und eingebettete Geräte

Ein leichtgewichtigenes LLM-Modell-Inferenz-Framework

Tool zur blinden WAF-Identifizierung

yolort ist ein Laufzeit-Stack für yolov5 auf spezialisierten Beschleunigern wie TensorRT, LibTorch, ONNXRuntime, TVM und NCNN.

Privacy Meter: Eine Open-Source-Bibliothek zur Prüfung des Datenschutzes in statistischen und Machine-Learning-Algorithmen.

Graph Data Science: Eine Abstraktionsschicht in Python zum Erstellen von Wissensgraphen, integriert in gängige Graph-Bibliotheken – basierend auf Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow usw.

Ollama für klassische ML-Modelle. Ein AOT-Compiler, der XGBoost-, LightGBM-, scikit-learn-, CatBoost- und ONNX-Modelle in nativen C99-Inferenzcode umwandelt. Ein Befehl zum Laden, ein Befehl zum Bereitstellen. 336x schneller als Python-Inferenz.

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Trainieren Sie einen hochmodernen yolov3-Objektdetektor von Grund auf!

Präziser, skalierbarer und erweiterbarer Simulator für LLM-Inferenzsysteme

Eine轻量级、portabile reine C99 ONNX-Inferenzengine für eingebettete Geräte mit Unterstützung für Hardwarebeschleunigung.

Hochperformante serverlose GPU-Task-Orchestrierung – die Scheduling-Ebene hinter wavespeed.ai.

Schritt-für-Schritt-Implementierung der llama3-Inferenz, Verständnis der Kernkonzepte, Beherrschung der Prozessableitung und Implementierung des Codes.

Continual learning infra for self-improving agents

Das Deep Learning Streamer (DL Streamer) Pipeline Framework ist ein Open-Source-Streaming-Medienanalyse-Framework auf Basis des GStreamer*-Multimedia-Frameworks zur Erstellung komplexer Medienanalyse-Pipelines für die Cloud oder Edge.

Konvertierung von mmdetection-Modellen zu TensorRT, unterstützt FP16, INT8, Batch-Input, dynamische Shapes usw.

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

Python-Bibliothek für YOLO-Objekterkennung kleiner Objekte und Instanzsegmentierung

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

Open-Source-LLMs einfach feinabstimmen, erstellen und bereitstellen.

Führen Sie Ihre Deep-Learning-Workloads einfacher und effizienter auf Kubernetes aus.

Triton Model Analyzer ist ein CLI-Tool zur besseren Analyse der Rechen- und Speicheranforderungen von Modellen für den Triton Inference Server.

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

Vertrauliche KI-Bereitstellung mit Secure Enclaves.