inference

Mengelola Akses Terpadu ke Layanan AI Generatif yang dibangun di atas Envoy Gateway

Jalankan LLM 1 miliar parameter pada papan $10 dengan RAM 256MB

Modul inferensi untuk AgiBot X1.

Paket akselerasi untuk jaringan saraf pada CPU multi-inti

Server inferensi CPU/GPU yang efisien, dapat disesuaikan, dan tingkat enterprise untuk model transformer 🤗 Hugging Face 🚀

Mesin inferensi performa tinggi untuk model AI

Platform Riset Benchmark Inferensi Berkelanjutan Open Source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & segera hadir™ TPUv6e/v7/Trainium2/3 | Platform riset benchmark inferensi berkelanjutan open-source — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, segera hadir™ TPUv6e/v7/Trainium2/3

Rute, kelola, dan analisis permintaan LLM Anda di berbagai penyedia dengan antarmuka API yang bersatu.

Mesin inferensi performa tinggi untuk model LLM, VLM, DiT, dan REC, yang dioptimalkan untuk berbagai akselerator AI. Dihosting di OpenAtom Foundation.

Runtime yang cepat dan ramah pengguna untuk inferensi transformer (Bert, Albert, GPT2, Decoders, dll.) pada CPU dan GPU.

Exporter GPU Nvidia untuk prometheus menggunakan biner nvidia-smi atau menggunakan NVML

Dapatkan layanan inferensi ML dengan anggaran terbatas dalam waktu kurang dari 10 baris kode.

RTP-LLM: Mesin inferensi LLM performa tinggi Alibaba untuk berbagai aplikasi.

Inferensi, Ingestion, dan Pengindeksan yang Sangat Berkinerja, Modular, Aman dari Memori, dan Siap Produksi yang dibangun dengan Rust 🦀

Paket untuk inferensi kausal dalam grafik dan pengaturan berpasangan. Termasuk alat untuk pemulihan struktur grafik dan dependensi.

Distribusikan dan jalankan beban kerja AI di Kubernetes secara ajaib dengan Python, seperti PyTorch untuk infrastruktur ML.

Kompresi KV cache LLM menjadi lebih mudah

Qualcomm® AI Hub Models adalah koleksi model machine learning canggih yang dioptimalkan untuk performa (latensi, memori, dll.) dan siap diterapkan di perangkat Qualcomm®.

SGLang-Omni mendukung penyajian berkinerja tinggi untuk model TTS, ASR, ucapan, dan omni.

Server inferensi LLM native untuk Apple Silicon. Kompatibel dengan API OpenAI + Anthropic. Tanpa Python. Termasuk aplikasi macOS MLX Core dengan obrolan, mode agen, dan pemanggilan alat.

Bangun mesin inferensi LLM berkinerja tinggi Anda sendiri dalam C++ dan CUDA - versi yang lebih kecil dari vLLM.

Kerangka kerja penayangan berkinerja tinggi yang berorientasi pada throughput untuk LLM

MLX Studio - Rumah JANG_Q - Pembuatan/Pengeditan Gambar + Obrolan/Kode Semua dalam satu - + OpenClaw (Anthropic API)

Bolt adalah library deep learning dengan performa tinggi dan fleksibilitas heterogen.

📚 Pengantar Statistik Modern - Buku teks sumber terbuka tingkat perguruan tinggi dengan pendekatan modern yang menyoroti hubungan multivariabel dan inferensi berbasis simulasi.

Antarmuka seragam untuk menjalankan model deep learning dari berbagai framework

Server inferensi yang dapat diskalakan untuk model yang dioptimalkan dengan OpenVINO™

Model Bark Suno AI dalam C/C++ untuk pembuatan text-to-speech yang cepat

Kerangka kerja computer vision open-source untuk membangun dan menerapkan aplikasi dalam hitungan menit

PyTriton adalah antarmuka mirip Flask/FastAPI yang menyederhanakan penerapan Triton di lingkungan Python.