inference

Superduper: marco de trabajo integral para construir aplicaciones y agentes de IA personalizados.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Un conversor de PyTorch a TensorRT fácil de usar

Motor de inferencia rápido para modelos Transformer

TNN: desarrollado por Tencent Youtu Lab y Guangying Lab, un framework de inferencia de aprendizaje profundo uniforme para móviles, escritorio y servidores. TNN se destaca por varias características sobresalientes, incluyendo su capacidad multiplataforma, alto rendimiento, compresión de modelos y poda de código. Basado en ncnn y Rapidnet, TNN refuerza aún más el soporte y la optimización de rendimiento para dispositivos móviles, y también

TypeDB: Construido para sistemas, no para registros

Modelos de Deep Learning preentrenados y demos (alta calidad y extremadamente rápidos)

Logra un rendimiento de inferencia de última generación con aceleradores modernos en Kubernetes

Un framework unificado de inferencia y post-entrenamiento para la generación acelerada de video.

CSGHub es una nueva plataforma de código abierto para gestionar LLMs, desarrollada por el equipo de OpenCSG. Ofrece soluciones tanto de código abierto como locales/SaaS, con características comparables a Hugging Face. Obtenga el control total sobre el ciclo de vida de los LLMs, conjuntos de datos y agentes, con compatibilidad de SDK de Python con Hugging Face. ¡Únase a nosotros! ⭐️

Cualquier modelo. Cualquier hardware. Sin concesiones. Construido con @ziglang / @openxla / MLIR / @bazelbuild

Toolkit de inferencia y despliegue de alto rendimiento para LLMs y VLMs basado en PaddlePaddle

El motor de IA local más rápido para Apple Silicon. 4.2x más rápido que Ollama, 0.08s de TTFT en caché, 100% de llamadas a herramientas. 17 analizadores de herramientas, caché de prompts, separación de razonamiento, enrutamiento en la nube. Reemplazo directo para OpenAI. Funciona con Claude Code, Cursor, Aider.

¡Excelente proyecto para reclutamiento universitario, de otoño, de primavera y pasantías! Te guía para implementar desde cero una biblioteca de inferencia de aprendizaje profundo de alto rendimiento, compatible con la inferencia de modelos grandes como llama2, Unet, Yolov5, Resnet, etc.

🚀 Acelera la inferencia y el entrenamiento de 🤗 Transformers, Diffusers, TIMM y Sentence Transformers con herramientas de optimización de hardware fáciles de usar

📚 Tutoriales de Jupyter notebook para OpenVINO™

Servidor de inferencia de código abierto y clúster de producción para todos los modelos que tu agente necesita.

Cuantización nativa de PyTorch para entrenamiento e inferencia

Plugin de hardware mantenido por la comunidad para vLLM en Ascend

Utiliza Hugging Face con JavaScript

Inferencia y entrenamiento de ML rápidos para modelos ONNX en Rust

Plataforma nativa de la nube de código abierto para ML/DL, MaaS y MLOps. Ofrece un ciclo de vida completo de algoritmos, multi-tenancy, orquestación de flujos de trabajo, entrenamiento distribuido, ajuste fino de modelos (SFT/RLHF), inferencia con vLLM/Ollama, bases de conocimiento privadas y soporte para hardware heterogéneo (Ascend, Cambricon, etc.) con capacidades de computación en el borde.

Operadores de inferencia de redes neuronales de punto flotante de alta eficiencia para móviles, servidores y Web.

Convierte cualquier ordenador o dispositivo edge en un centro de control para tus proyectos de visión por computador.

Domina la IA aplicada, un concepto a la vez

Orquestación independiente del proveedor para cargas de trabajo de entrenamiento, inferencia y agentes en NVIDIA, AMD, TPU y Tenstorrent en la nube, Kubernetes y bare metal.

Comunícate con un proveedor de LLM utilizando una interfaz única

Inferencia de Llama 2 en un solo archivo de puro 🔥

MII permite una inferencia de baja latencia y alto rendimiento, impulsada por DeepSpeed.

AICI: Prompts como programas (Wasm)