inference-engine

Análises profundas de código-fonte, design de sistemas e blogs de engenharia

Um Kimi K3 de 2,78 trilhões de parâmetros executando inferência em uma única CPU com 8,24 GB de RAM. C99 portátil: sem BLAS, sem framework, sem GPU.

FEDML - A biblioteca de ML unificada e escalável para treinamento distribuído em larga escala, serviço de modelos e aprendizado federado. O FEDML Launch, um agendador cross-cloud, permite executar qualquer trabalho de IA em qualquer nuvem de GPU ou cluster local. Construída sobre esta biblioteca, a TensorOpera AI (https://TensorOpera.ai) é sua plataforma de IA generativa em escala.

Excelente projeto para processos seletivos e estágios! Guia passo a passo para implementar uma biblioteca de inferência de deep learning de alto desempenho do zero, com suporte a modelos como llama2, Unet, Yolov5, Resnet e outros.

Implementação de motor de regras em Golang

OneDiff: Uma biblioteca de aceleração pronta para uso para modelos de difusão.

Motor de inferência de LLM em larga escala

Velocidades 3x mais rápidas no MLX | Qwen 3.8 27B | Decodificação especulativa MTP nativa em Apple Silicon sem necessidade de rascunhador externo.

Um motor de inferência de alto desempenho para modelos LLM, VLM, DiT e REC, otimizado para diversos aceleradores de IA. É hospedado na OpenAtom Foundation.

Qualcomm® AI Hub Models é nossa coleção de modelos de aprendizado de máquina de última geração otimizados para desempenho (latência, memória, etc.) e prontos para implantação em dispositivos Qualcomm®.

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e muito mais

Paddle.js é um projeto web para o Baidu PaddlePaddle, um framework de deep learning de código aberto que roda no navegador. O Paddle.js pode carregar modelos pré-treinados ou converter modelos do paddle-hub usando suas ferramentas de conversão. Pode ser executado em qualquer navegador com suporte a WebGL/WebGPU/WebAssembly, além de Baidu Smartprogram e WX miniprogram.

NobodyWho é um mecanismo de inferência que permite executar LLMs localmente e de forma eficiente em qualquer dispositivo.

MLX Studio - Casa de JANG_Q - Geração/Edição de Imagem + Chat/Código Tudo em um - + OpenClaw (Anthropic API)

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

Framework Python de Visão Computacional e Análise de Vídeo pronto para uso

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Decodificação de LLM até 4x mais rápida no Apple Silicon, sem perdas. Port nativo em MLX do DSpark da DeepSeek e da decodificação especulativa DFlash do z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, Bonsai-27B ternário.

Yet Another Language Model: inferência de LLM em C++/CUDA, sem bibliotecas além de I/O.

Uma representação base comum de código-fonte Python para pylint e outros projetos

Projeto para recrutamento e estágios, guiando você na implementação do zero de um framework de inferência de LLM com suporte a Llama2/3 e Qwen2.5.

From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.

Krasis é um runtime LLM híbrido focado na execução eficiente de modelos maiores em hardware de nível de consumidor com VRAM limitada.

Inference engine for Intel devices. Serve LLMs, VLMs, Whisper, Kokoro-TTS, Embedding and Rerank models over OpenAI endpoints.