inference

Gestiona el acceso unificado a servicios de IA generativa construidos sobre Envoy Gateway

Ejecuta un LLM de 1 mil millones de parámetros en una placa de 10 dólares con 256 MB de RAM

El módulo de inferencia para AgiBot X1.

Paquete de aceleración para redes neuronales en CPUs multicorte

Servidor de inferencia de CPU/GPU eficiente, escalable y de nivel empresarial para modelos transformer de 🤗 Hugging Face.

Un motor de inferencia de alto rendimiento para modelos de IA

Plataforma de investigación de benchmarks de inferencia continua de código abierto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 y próximamente™ TPUv6e/v7/Trainium2/3

Enruta, gestiona y analiza tus solicitudes de LLM a través de múltiples proveedores con una interfaz de API unificada

Un motor de inferencia de alto rendimiento para modelos LLM, VLM, DiT y REC, optimizado para diversos aceleradores de IA. Está alojado en la OpenAtom Foundation.

Un entorno de ejecución rápido y fácil de usar para la inferencia de transformers (Bert, Albert, GPT2, Decoders, etc.) en CPU y GPU.

Exportador de GPU Nvidia para Prometheus usando el binario nvidia-smi o NVML

Despliega un servicio de inferencia de ML con bajo presupuesto en menos de 10 líneas de código.

RTP-LLM: motor de inferencia de LLM de alto rendimiento de Alibaba para diversas aplicaciones.

Inferencia, ingesta e indexación de alto rendimiento, modulares, seguras para la memoria y listas para producción, construidas en Rust 🦀

Paquete para inferencia causal en grafos y configuraciones por pares. Se incluyen herramientas para la recuperación de la estructura de grafos y dependencias.

Distribuye y ejecuta cargas de trabajo de IA en Kubernetes de forma mágica con Python, similar a PyTorch para infraestructura de ML.

Compresión de caché KV para LLM simplificada

Qualcomm® AI Hub Models es nuestra colección de modelos de aprendizaje automático de última generación optimizados para el rendimiento (latencia, memoria, etc.) y listos para implementar en dispositivos Qualcomm®.

SGLang-Omni permite un servicio de alto rendimiento para modelos de TTS, ASR, voz y modelos omni.

Servidor de inferencia LLM nativo para Apple Silicon. Compatible con la API de OpenAI y Anthropic. Sin Python. Incluye la aplicación MLX Core para macOS con chat, modo agente y llamada a herramientas.

Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA: una versión más pequeña de vLLM.

Un framework de servicio de alto rendimiento orientado al rendimiento para LLMs.

MLX Studio - Hogar de JANG_Q - Generación/Edición de imágenes + Chat/Código todo en uno - + OpenClaw (API de Anthropic)

Bolt es una biblioteca de aprendizaje profundo con alto rendimiento y flexibilidad heterogénea.

📚 Introducción a la estadística moderna: un libro de texto de código abierto de nivel universitario con un enfoque moderno que destaca las relaciones multivariables y la inferencia basada en simulación.

Una interfaz uniforme para ejecutar modelos de aprendizaje profundo de múltiples marcos de trabajo.

Un servidor de inferencia escalable para modelos optimizados con OpenVINO™.

Modelo Bark de Suno AI en C/C++ para una generación rápida de texto a voz.

Un framework de visión artificial de código abierto para crear y desplegar aplicaciones en minutos.

PyTriton es una interfaz similar a Flask/FastAPI que simplifica el despliegue de Triton en entornos Python.