inference

Superduper : framework de bout en bout pour créer des applications et des agents IA personnalisés.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Un convertisseur PyTorch vers TensorRT facile à utiliser.

Moteur d'inférence rapide pour les modèles Transformer

TNN : développé par Tencent Youtu Lab et Guangying Lab, un framework d'inférence de deep learning uniforme pour mobile, desktop et serveur. TNN se distingue par sa compatibilité multiplateforme, ses hautes performances, la compression de modèles et l'élagage de code. Basé sur ncnn et Rapidnet, TNN renforce le support et l'optimisation des performances pour les appareils mobiles.

TypeDB : Conçu pour les systèmes, pas pour les enregistrements.

Modèles de Deep Learning pré-entraînés et démonstrations (haute qualité et extrêmement rapides)

Atteignez des performances d'inférence de pointe avec des accélérateurs modernes sur Kubernetes

Un framework unifié d'inférence et de post-entraînement pour la génération vidéo accélérée.

CSGHub est une nouvelle plateforme open source pour la gestion des LLM, développée par l'équipe OpenCSG. Elle propose des solutions open source, sur site et SaaS, avec des fonctionnalités comparables à Hugging Face. Gardez le contrôle total sur le cycle de vie des LLM, des jeux de données et des agents, avec une compatibilité SDK Python avec Hugging Face.

N'importe quel modèle. N'importe quel matériel. Aucun compromis. Construit avec @ziglang / @openxla / MLIR / @bazelbuild

Boîte à outils d'inférence et de déploiement haute performance pour LLM et VLM basée sur PaddlePaddle

Le moteur d'IA local le plus rapide pour Apple Silicon. 4,2x plus rapide qu'Ollama, 0,08s de TTFT mis en cache, 100% d'appel d'outils. 17 analyseurs d'outils, cache de prompt, séparation du raisonnement, routage cloud. Remplacement direct d'OpenAI. Fonctionne avec Claude Code, Cursor, Aider.

Projet idéal pour le recrutement ! Implémentez étape par étape une bibliothèque d'inférence de deep learning haute performance, prenant en charge des modèles comme Llama2, Unet, Yolov5, Resnet, etc.

Accélérez l'inférence et l'entraînement de 🤗 Transformers, Diffusers, TIMM et Sentence Transformers avec des outils d'optimisation matérielle simples d'utilisation.

📚 Tutoriels Jupyter notebook pour OpenVINO™.

Serveur d'inférence open-source et cluster de production pour tous les modèles nécessaires à vos agents.

Quantification native PyTorch pour l'entraînement et l'inférence

Plugin Fzf pour Fish

Utilisez Hugging Face avec JavaScript.

Inférence et entraînement ML rapides pour les modèles ONNX en Rust

cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台，算法全链路流程，多租户，算力租赁平台，token中转，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务，VGPU虚拟化，云边端协同，边缘计算，自动化标注平台，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库llmops智能体，AI模型市场，支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等，支持ib/roce/RDMA，信创支持

Opérateurs d'inférence de réseaux de neurones à virgule flottante haute efficacité pour mobile, serveur et Web.

Transformez n'importe quel ordinateur ou appareil périphérique en centre de commande pour vos projets de vision par ordinateur.

Maîtriser l'IA appliquée, un concept à la fois.

Orchestration agnostique pour l'entraînement, l'inférence et les charges de travail d'agents sur NVIDIA, AMD, TPU et Tenstorrent dans le cloud, Kubernetes et sur serveurs bare metal.

Communiquer avec un fournisseur de LLM via une interface unique

Inférence de Llama 2 dans un seul fichier pur.

MII permet une inférence à faible latence et haut débit, propulsée par DeepSpeed.

AICI : les prompts comme programmes (Wasm)