inference

Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs

Ultralytics YOLOv5 en PyTorch para detección de objetos, segmentación de instancias, clasificación, entrenamiento y exportación.

Puerto del modelo Whisper de OpenAI en C/C++

DeepSpeed es una biblioteca de optimización de aprendizaje profundo que hace que el entrenamiento y la inferencia distribuidos sean fáciles, eficientes y efectivos.

Hacer que los modelos de IA grandes sean más económicos, rápidos y accesibles

Soluciones de ML multiplataforma y personalizables para contenido multimedia en vivo y en streaming.

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje grande y modelos multimodales.

Transcripción de Whisper más rápida con CTranslate2

ncnn es un marco de inferencia de redes neuronales de alto rendimiento optimizado para plataformas móviles

Libro abierto de ingeniería de aprendizaje automático

Nano vLLM

🎨 La biblioteca exhaustiva de coincidencia de patrones (Pattern Matching) para TypeScript, con inferencia de tipos inteligente.

NVIDIA® TensorRT™ es un SDK para la inferencia de aprendizaje profundo de alto rendimiento en GPU de NVIDIA. Este repositorio contiene los componentes de código abierto de TensorRT.

LMCache: Potencia tu LLM con la capa de caché KV más rápida

Cuadernos Jupyter de ejemplo 📓 que demuestran cómo construir, entrenar y desplegar modelos de machine learning usando 🧠 Amazon SageMaker.

Triton Inference Server ofrece una solución optimizada de inferencia para la nube y el extremo (edge).

OpenVINO™ es un kit de herramientas de código abierto para optimizar y desplegar inferencia de IA

Implementación en PyTorch de YOLOv3, YOLOv3-SPP y YOLOv3-tiny para detección de objetos en tiempo real con entrenamiento, validación, inferencia y exportación multiformato.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Herramientas listas para producción para ejecutar IA de forma local.

Intercambia GPT por cualquier LLM cambiando una sola línea de código. Xinference te permite ejecutar modelos de código abierto, de voz y multimodales en la nube, localmente o en tu laptop, todo a través de una API de inferencia unificada y lista para producción.

¡Ajusta, evalúa y despliega fácilmente Qwen, Gemma o cualquier LLM de pesos abiertos!

Guía Hello AI World para implementar redes de inferencia de deep-learning y primitivas de visión profunda con TensorRT y NVIDIA Jetson.

Sistema de tipos en tiempo de ejecución para decodificación/codificación de IO

Un framework para la inferencia eficiente de modelos omnimodales.

Mooncake es la plataforma de servicio para Kimi, un servicio de LLM líder proporcionado por Moonshot AI.

IA de voz en el dispositivo para Apple Silicon.

Adversarial Robustness Toolbox (ART) - Biblioteca de Python para la seguridad en Machine Learning - Evasión, Envenenamiento, Extracción, Inferencia - Equipos Rojos y Azules

Un administrador de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU accesibles por SSH bajo demanda.

Un enrutador programable de mezcla de modelos (Mixture-of-Models) para inferencia de LLM heterogénea