inference

Tutorial de la API de C++ para TensorRT.

Ejecuta modelos de TensorFlow en C++ sin instalación y sin Bazel

Paquete de Python pequeño, rápido y sin dependencias para inferir tipos de archivos binarios mediante la verificación de la firma de números mágicos

Notebooks de ejemplo para trabajar con SageMaker Studio Lab. ¡Regístrate para obtener una cuenta en el enlace de abajo!

Herramienta de productividad con IA: gratuita y de código abierto, diseñada para mejorar la productividad del usuario y proteger la privacidad y la seguridad de los datos. Incluye, entre otros: modelos locales exclusivos integrados como ChatGPT, DeepSeek, Phi, Qwen y otros, además de procesamiento inteligente por lotes con un solo clic para imágenes, videos, audio, etc.

Servidor de inferencia LLM nativo en MLX Swift para Apple Silicon. API compatible con OpenAI, streaming SSD para modelos MoE de más de 100B, compresión de caché KV TurboQuant, aplicación para MACOS + iOS iPhone.

un framework ligero de inferencia para modelos LLM

Motor de inferencia de aprendizaje automático para microcontroladores y dispositivos embebidos.

Herramienta de identificación de WAF a ciegas.

yolort es una pila de ejecución para yolov5 en aceleradores especializados como TensorRT, libtorch, onnxruntime, tvm y ncnn.

Privacy Meter: una biblioteca de código abierto para auditar la privacidad de los datos en algoritmos de estadística y aprendizaje automático.

Graph Data Science: una capa de abstracción en Python para construir grafos de conocimiento, integrada con bibliotecas de grafos populares como Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, entre otras.

Ollama para modelos de ML clásico. Compilador AOT que convierte modelos de XGBoost, LightGBM, scikit-learn, CatBoost y ONNX en código de inferencia C99 nativo. Un comando para cargar, un comando para servir. 336 veces más rápido que la inferencia en Python.

¡Entrena un detector de objetos yolov3 de última generación desde cero!

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Simulador preciso, escalable y extensible para sistemas de inferencia de LLM

Motor de inferencia ONNX ligero, portátil y en C99 puro para dispositivos integrados con soporte de aceleración por hardware.

Orquestación de tareas GPU sin servidor de alto rendimiento: la capa de programación detrás de wavespeed.ai

Realice la inferencia de llama3 paso a paso, comprenda los conceptos básicos, domine la derivación del proceso e implemente el código.

Deep Learning Streamer (DL Streamer) Pipeline Framework es un marco de análisis de medios de transmisión de código abierto, basado en GStreamer, para crear pipelines complejos de análisis de medios para la nube o el borde

Convierte modelos de mmdetection a TensorRT, compatible con fp16, int8, entrada por lotes, forma dinámica, etc.

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

Biblioteca de Python para detección de objetos pequeños y segmentación de instancias con YOLO

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ ¡Ajusta, construye y despliega LLMs de código abierto fácilmente!

Ejecute sus cargas de trabajo de aprendizaje profundo en Kubernetes de forma más fácil y eficiente.

Triton Model Analyzer es una herramienta de línea de comandos para ayudar a comprender mejor los requisitos de cómputo y memoria de los modelos de Triton Inference Server.

Continual learning infra for self-improving agents

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

Despliegue de IA confidencial con enclaves seguros