inference

Superduper：端到端框架，用于构建自定义 AI 应用与代理

cube studio 开源云原生一站式机器学习/深度学习/大模型 AI 平台，mlops 算法链路全流程，算力租赁平台，notebook 在线开发，拖拉拽任务流 pipeline 编排，多机多卡分布式训练，超参数搜索，推理服务 VGPU 虚拟化，边缘计算，标注平台自动化标注，deepseek 等大模型 sft 微调/奖励模型/强化学习训练，vllm/ollama/mindie 大模型多机推理，私有知识库，AI 模型市场，支持国产 CPU/GPU/NPU 昇腾生态，支持 RDMA，支持 pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano 等分布式

易用的 PyTorch 到 TensorRT 转换器

Transformer 模型的快速推理引擎

TNN：由腾讯优图实验室和光影实验室开发的统一深度学习推理框架，适用于手机、桌面和服务器。TNN 以跨平台能力、高性能、模型压缩和代码裁剪等优秀特性著称。基于 ncnn 和 Rapidnet，TNN 进一步加强了对手机设备的支持和性能优化，并且

TypeDB：为系统而建，非仅仅是记录

预训练深度学习模型与示例（高品质且极速）。

在 Kubernetes 上使用现代加速器实现最先进的推理性能

一个统一的推理与后训练框架，用于加速影片生成

CSGHub 是一个全新的开源平台，用于管理 LLM，开发者为 OpenCSG 团队。它提供开源与本地/ SaaS 解决方案，功能可与 Hugging Face 相比。完全掌控 LLM、数据集与代理的生命周期，Python SDK 兼容 Hugging Face。加入我们！⭐️

Any model. Any hardware. Zero compromise. Built with @ziglang / @openxla / MLIR / @bazelbuild

基于 PaddlePaddle 的高效 LLM 与 VLM 推理与部署工具包

Apple Silicon 上最快的本地 AI 引擎。比 Ollama 快 4.2 倍，缓存 TTFT 0.08 秒，100% 工具调用。17 个工具解析器、提示缓存、推理分离、云路由。即插即用的 OpenAI 替代品。与 Claude Code、Cursor、Aider 兼容。

校招、秋招、春招、实习好项目！带你从零实现一个高性能的深度学习推理库，支持大模型 llama2、Unet、Yolov5、Resnet 等模型的推理。一步步实现高性能深度学习推理库。

加速 🤗 Transformers、Diffusers、TIMM 与 Sentence Transformers 的推理与训练，提供易用的硬件优化工具

📚 OpenVINO™ 的 Jupyter notebook 教学。

为你的 Agent 所需的所有模型提供开源推理服务器与生产集群。

PyTorch 原生量化，用于训练和推理

社区维护的 vLLM on Ascend 硬件插件

在 JavaScript 中使用 Hugging Face

在 Rust 中为 ONNX 模型提供快速的 ML 推理与训练

cubestudio 开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台，算法全链路流程，多租户，算力租赁平台，token中转，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务，VGPU虚拟化，云边端协同，边缘计算，自动化标注平台，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库llmops智能体，AI模型市场，支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等，支持ib/roce/RDMA，信创支持

适用于移动设备、服务器与 Web 的高性能浮点数神经网络推理算子

将任何计算机或边缘设备变成计算机视觉项目的指挥中心。

掌握应用 AI，一次掌握一个概念

针对云端、Kubernetes 和裸机上的 NVIDIA、AMD、TPU 与 Tenstorrent，提供用于训练、推理与代理工作负载的无供应商锁定编排服务。

使用单一接口与 LLM 提供商进行通信

在单个文件中以纯 🔥 推理 Llama 2

MII 在 DeepSpeed 的支持下，实现低延迟与高吞吐量的推理。

AICI：将提示词作为 (Wasm) 程序