inference

Superduper: Framework de ponta a ponta para construir aplicações e agentes de IA personalizados.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Um conversor fácil de usar de PyTorch para TensorRT

Motor de inferência rápida para modelos Transformer.

TNN: desenvolvido pelo Tencent Youtu Lab e Guangying Lab, um framework unificado de inferência de deep learning para celular, desktop e servidor. O TNN se destaca por vários recursos excelentes, incluindo capacidade multiplataforma, alto desempenho, compressão de modelo e poda de código. Com base no ncnn e Rapidnet, o TNN fortalece ainda mais o suporte e a otimização de desempenho para dispositivos móveis.

TypeDB: Criado para sistemas, não para registros

Modelos de Deep Learning pré-treinados e demos (alta qualidade e extremamente rápidos).

Alcance um desempenho de inferência de última geração com aceleradores modernos no Kubernetes

Uma estrutura unificada de inferência e pós-treinamento para geração de vídeo acelerada.

CSGHub é uma nova plataforma de código aberto para gerenciar LLMs, desenvolvida pela equipe OpenCSG. Oferece soluções de código aberto e on-premise/SaaS, com recursos comparáveis ao Hugging Face. Obtenha controle total sobre o ciclo de vida de LLMs, datasets e agentes, com compatibilidade de SDK Python com o Hugging Face. Junte-se a nós! ⭐️

Qualquer modelo. Qualquer hardware. Sem compromissos. Construído com @ziglang / @openxla / MLIR / @bazelbuild

Kit de ferramentas de inferência e implantação de alto desempenho para LLMs e VLMs baseado em PaddlePaddle.

O mecanismo de IA local mais rápido para Apple Silicon. 4,2x mais rápido que o Ollama, TTFT em cache de 0,08s, suporte total a chamadas de ferramentas (100% tool calling). 17 analisadores de ferramentas, cache de prompts, separação de raciocínio, roteamento em nuvem. Substituto direto da API OpenAI. Funciona com Claude Code, Cursor e Aider.

Excelente projeto para processos seletivos e estágios! Guia passo a passo para implementar uma biblioteca de inferência de deep learning de alto desempenho do zero, com suporte a modelos como llama2, Unet, Yolov5, Resnet e outros.

🚀 Acelere a inferência e o treinamento de 🤗 Transformers, Diffusers, TIMM e Sentence Transformers com ferramentas de otimização de hardware fáceis de usar

Tutoriais em Jupyter Notebook para OpenVINO™.

Servidor de inferência open-source e cluster de produção para todos os modelos que seu agente precisa.

Quantização nativa em PyTorch para treinamento e inferência.

Plugin de hardware mantido pela comunidade para vLLM em Ascend.

Use o Hugging Face com JavaScript.

Inferência e treinamento de ML rápidos para modelos ONNX em Rust.

Plataforma de IA de código aberto cubestudio: solução completa nativa em nuvem para aprendizado de máquina, aprendizado profundo e grandes modelos (LLMs). Inclui MaaS, MLOps, orquestração de pipeline, treinamento distribuído, busca de hiperparâmetros, inferência, virtualização VGPU, computação de borda, rotulagem automatizada, ajuste fino (SFT) de modelos como deepseek, suporte a inferência multi-máquina (vllm/ollama/mindie), bases de conhecimento privadas, marketplace de modelos e suporte a hardware heterogêneo (Ascend, Cambricon, etc.) com suporte a RDMA/RoCE.

Operadores de inferência de rede neural de ponto flutuante de alta eficiência para dispositivos móveis, servidores e Web

Transforme qualquer computador ou dispositivo de borda em uma central de comando para seus projetos de visão computacional.

Dominando IA aplicada, um conceito de cada vez.

Orquestração agnóstica de fornecedor para cargas de trabalho de treinamento, inferência e agentes em NVIDIA, AMD, TPU e Tenstorrent em nuvens, Kubernetes e bare metal.

Comunique-se com um provedor de LLM usando uma interface única

Inferência do Llama 2 em um único arquivo de puro 🔥

O MII possibilita inferência de baixa latência e alto rendimento, impulsionado pelo DeepSpeed.

AICI: Prompts como Programas (Wasm)