inference

Tutorial da API C++ do TensorRT

Execute modelos do TensorFlow em C++ sem instalação e sem o Bazel

Continual learning infra for self-improving agents

Pacote Python pequeno, rápido e sem dependências para inferir tipos de arquivos binários verificando a assinatura dos números mágicos

Notebooks de exemplo para trabalhar com o SageMaker Studio Lab. Inscreva-se para uma conta no link abaixo!

Ferramenta de produtividade de IA - Gratuita e de código aberto, melhora a produtividade do usuário e protege a privacidade e a segurança dos dados. Incluindo, mas não limitado a: modelos locais integrados como ChatGPT, DeepSeek, Phi, Qwen e outros, processamento inteligente em lote com um clique de imagens, vídeos, áudio, etc.

⚡ Servidor de inferência LLM nativo em MLX Swift para Apple Silicon. API compatível com OpenAI, streaming SSD para modelos MoE 100B+, compressão de cache KV TurboQuant, aplicativo para macOS e iOS iPhone.

Um framework leve para inferência de modelos LLM

Mecanismo de inferência de Machine Learning para microcontroladores e dispositivos embarcados

Ferramenta de identificação cega de WAF.

O yolort é uma pilha de execução para o yolov5 em aceleradores especializados, como tensorrt, libtorch, onnxruntime, tvm e ncnn.

Privacy Meter: Uma biblioteca de código aberto para auditar a privacidade de dados em algoritmos estatísticos e de machine learning.

Graph Data Science: uma camada de abstração em Python para construir grafos de conhecimento, integrada com bibliotecas de grafos populares – sobre Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, etc.

Ollama para modelos de ML clássicos. Compilador AOT que transforma modelos XGBoost, LightGBM, scikit-learn, CatBoost e ONNX em código de inferência C99 nativo. Um comando para carregar, um comando para servir. 336x mais rápido que a inferência em Python.

Treine um detector de objetos yolov3 de última geração do zero!

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Simulador preciso, em larga escala e extensível para sistemas de inferência de LLM

Um mecanismo de inferência onnx em puro C99, leve e portátil, para dispositivos embarcados com suporte a aceleração de hardware.

Orquestração de tarefas de GPU serverless de alto desempenho — a camada de agendamento por trás de wavespeed.ai

Implemente a inferência do llama3 passo a passo, compreenda os conceitos centrais, domine a derivação do processo e escreva o código.

O Deep Learning Streamer (DL Streamer) Pipeline Framework é um framework de análise de mídia de streaming de código aberto, baseado no framework multimídia GStreamer*, para criar pipelines complexos de análise de mídia para a nuvem ou na borda (Edge).

converta o modelo mmdetection para tensorrt, com suporte a fp16, int8, entrada em lote, formato dinâmico, etc.

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

Biblioteca Python para detecção de pequenos objetos e segmentação de instâncias com YOLO

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ Faça ajuste fino, construa e implante LLMs de código aberto facilmente!

Execute suas cargas de trabalho de deep learning no Kubernetes com mais facilidade e eficiência.

Triton Model Analyzer é uma ferramenta de linha de comando para ajudar a entender melhor os requisitos de computação e memória dos modelos do Triton Inference Server.

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

Confidential AI deployment with secure enclaves :lock: