inference

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und Agents.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

:Ein einfach zu bedienender PyTorch-zu-TensorRT-Konverter

Schnelle Inferenz-Engine für Transformer-Modelle.

TNN: Entwickelt vom Tencent Youtu Lab und Guangying Lab, ein einheitliches Deep-Learning-Inferenz-Framework für Mobilgeräte, Desktops und Server. TNN zeichnet sich durch herausragende Funktionen wie Plattformunabhängigkeit, hohe Leistung, Modellkomprimierung und Code-Pruning aus. Basierend auf ncnn und Rapidnet verstärkt TNN die Unterstützung und Leistungsoptimierung für Mobilgeräte weiter.

TypeDB: Entwickelt für Systeme, nicht für Datensätze

Trainierte Deep-Learning-Modelle und Demos (von hoher Qualität und extrem schnell)

Erzielen Sie modernste Inferenzleistung mit modernen Beschleunigern auf Kubernetes

Ein einheitliches Inferenz- und Post-Training-Framework für beschleunigte Videogenerierung.

CSGHub ist eine brandneue Open-Source-Plattform zur Verwaltung von LLMs, entwickelt vom OpenCSG-Team. Sie bietet sowohl Open-Source- als auch On-Premise/SaaS-Lösungen mit Funktionen, die mit Hugging Face vergleichbar sind. Erhalten Sie die volle Kontrolle über den Lebenszyklus von LLMs, Datensätzen und Agenten, mit Python-SDK-Kompatibilität zu Hugging Face. Machen Sie mit! ⭐️

Jedes Modell. Jede Hardware. Keine Kompromisse. Entwickelt mit @ziglang / @openxla / MLIR / @bazelbuild

Leistungsstarkes Inferenz- und Bereitstellungs-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle

Die schnellste lokale KI-Engine für Apple Silicon. 4,2x schneller als Ollama, 0,08s gecachte TTFT, 100% Tool-Calling. 17 Tool-Parser, Prompt-Cache, Reasoning-Trennung, Cloud-Routing. Nahtloser OpenAI-Ersatz. Funktioniert mit Claude Code, Cursor, Aider.

Implementiere Schritt für Schritt eine hochleistungsfähige Deep-Learning-Inferenzbibliothek, die Modelle wie Llama2, Unet, Yolov5, Resnet und andere unterstützt.

🚀 Beschleunigen Sie Inference und Training von 🤗 Transformers, Diffusers, TIMM und Sentence Transformers mit einfach zu bedienenden Hardware-Optimierungstools

📚 Jupyter Notebook Tutorials für OpenVINO™

Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.

PyTorch-native Quantisierung für Training und Inferenz.

Von der Community gepflegtes Hardware-Plugin für vLLM auf Ascend

Verwende Hugging Face mit JavaScript

Schnelle ML-Inferenz und -Training für ONNX-Modelle in Rust

cubestudio ist eine Open-Source Cloud-Native KI-Plattform für Machine Learning, Deep Learning und Large Language Models (LLM). Sie bietet MLOps, Multi-Tenancy, Ressourcen-Leasing, Pipeline-Orchestrierung, verteiltes Training, Inferenz-Dienste, VGPU-Virtualisierung sowie Unterstützung für heterogene Hardware (Ascend, Cambricon etc.) und private Wissensdatenbanken.

Hocheffiziente Gleitkomma-Inferenzoperatoren für neuronale Netze für Mobilgeräte, Server und das Web

Verwandeln Sie jeden Computer oder Edge-Device in ein Kommandozentrum für Ihre Computer-Vision-Projekte.

Angewandte KI meistern, Konzept für Konzept

Vendorunabhängige Orchestrierung für Training-, Inferenz- und Agenten-Workloads auf NVIDIA, AMD, TPU und Tenstorrent in Clouds, Kubernetes und auf Bare Metal.

Kommunikation mit einem LLM-Anbieter über eine einzige Schnittstelle

Inferenz für Llama 2 in einer einzigen Datei aus purem 🔥

MII ermöglicht latenzarme und hochdurchsatzfähige Inferenz, unterstützt durch DeepSpeed.

AICI: Prompts als (Wasm)-Programme