inference

Superduper: Kerangka kerja end-to-end untuk membangun aplikasi dan agen AI kustom.

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Konverter PyTorch ke TensorRT yang mudah digunakan

Mesin inferensi cepat untuk model Transformer.

TNN: dikembangkan oleh Tencent Youtu Lab dan Guangying Lab, kerangka kerja inferensi deep learning yang seragam untuk perangkat seluler, desktop, dan server. TNN menonjol karena fitur-fitur unggulannya, termasuk kemampuan lintas platform, performa tinggi, kompresi model, dan pemangkasan kode. Berbasis pada ncnn dan Rapidnet, TNN semakin memperkuat dukungan dan optimasi performa untuk perangkat seluler.

TypeDB: Dibuat untuk sistem, bukan sekadar catatan.

Model Deep Learning yang telah dilatih sebelumnya dan demo (berkualitas tinggi dan sangat cepat).

Capai performa inferensi mutakhir dengan akselerator modern di Kubernetes

Kerangka kerja inferensi dan pasca-pelatihan terpadu untuk akselerasi pembuatan video.

CSGHub adalah platform sumber terbuka baru untuk mengelola LLM, dikembangkan oleh tim OpenCSG. Menawarkan solusi sumber terbuka serta on-premise/SaaS, dengan fitur yang sebanding dengan Hugging Face. Dapatkan kendali penuh atas siklus hidup LLM, dataset, dan agen, dengan kompatibilitas Python SDK dengan Hugging Face. Bergabunglah dengan kami! ⭐️

Model apa pun. Perangkat keras apa pun. Tanpa kompromi. Dibangun dengan @ziglang / @openxla / MLIR / @bazelbuild

Toolkit Inferensi dan Penerapan Berkinerja Tinggi untuk LLM dan VLM yang berbasis pada PaddlePaddle

Mesin AI lokal tercepat untuk Apple Silicon. 4.2x lebih cepat dari Ollama, TTFT di-cache 0.08s, pemanggilan alat 100%. 17 parser alat, cache prompt, pemisahan penalaran, perutean cloud. Pengganti langsung OpenAI. Berfungsi dengan Claude Code, Cursor, Aider.

Proyek untuk rekrutmen kampus. Implementasi pustaka inferensi deep learning berkinerja tinggi dari nol, mendukung model seperti Llama2, Unet, Yolov5, dan Resnet.

🚀 Percepat inferensi dan pelatihan 🤗 Transformers, Diffusers, TIMM, dan Sentence Transformers dengan alat optimasi perangkat keras yang mudah digunakan

📚 Tutorial Jupyter notebook untuk OpenVINO™.

Server inferensi sumber terbuka dan kluster produksi untuk semua model yang dibutuhkan agen Anda.

Kuantisasi native PyTorch untuk pelatihan dan inferensi

Plugin perangkat keras yang dikelola komunitas untuk vLLM di Ascend

Gunakan Hugging Face dengan JavaScript

Inferensi & pelatihan ML cepat untuk model ONNX di Rust

Platform AI/MaaS/MLOps sumber terbuka cloud-native satu atap cubestudio, mendukung pelatihan dan inferensi LLM seperti deepseek, manajemen multi-tenant, dan orkestrasi pipeline.

Operator inferensi jaringan saraf titik mengambang efisiensi tinggi untuk seluler, server, dan Web

Ubah komputer atau perangkat edge apa pun menjadi pusat kendali untuk proyek visi komputer Anda.

Menguasai AI Terapan, satu konsep dalam satu waktu.

Orkestrasi agnostik vendor untuk pelatihan, inferensi, dan beban kerja agen di seluruh NVIDIA, AMD, TPU, dan Tenstorrent di cloud, Kubernetes, dan bare metal.

Berkomunikasi dengan penyedia LLM menggunakan satu antarmuka

Inferensi Llama 2 dalam satu file murni 🔥

MII memungkinkan inferensi dengan latensi rendah dan throughput tinggi, didukung oleh DeepSpeed.

AICI: Prompt sebagai program (Wasm)