model-serving

Mesin inferensi dan serving ber-throughput tinggi serta hemat memori untuk LLM

Cara termudah untuk melayani aplikasi dan model AI - Membangun API inferensi model, antrean tugas, aplikasi LLM, pipeline multi-model, dan banyak lagi.

Framework untuk inferensi model yang efisien dengan model omni-modality

Platform inferensi AI generatif dan prediktif terdistribusi yang terstandarisasi untuk penerapan multi-framework yang skalabel di Kubernetes.

OS Cloud Pribadi sumber terbuka untuk agen yang selalu aktif.

Repositori ini berisi catatan dan referensi berguna mengenai penerapan model berbasis deep learning ke dalam produksi.

🚀 Sistem Hebat untuk Machine Learning ⚡️ Makalah Sistem AI dan Praktik Industri. ⚡️ Sistem untuk Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, dll. 🗃️ Llama3, Mistral, dll. 🧑‍💻 Tutorial Video.

LightLLM adalah framework inferensi dan penyajian LLM (Large Language Model) berbasis Python, yang dikenal karena desainnya yang ringan, skalabilitas yang mudah, dan performa berkecepatan tinggi.

FEDML - Pustaka ML yang terpadu dan dapat diskalakan untuk pelatihan terdistribusi skala besar, penyajian model, dan federated learning. FEDML Launch, penjadwal lintas cloud, memungkinkan eksekusi pekerjaan AI apa pun di cloud GPU atau klaster on-premise mana pun. Dibangun di atas pustaka ini, TensorOpera AI (https://TensorOpera.ai) adalah platform AI generatif Anda dalam skala besar.

Server inferensi Multi-LoRA yang dapat diskalakan hingga ribuan LLM yang telah di-fine-tune.

Kerangka kerja inferensi berkinerja tinggi untuk model bahasa besar, yang berfokus pada efisiensi, fleksibilitas, dan ketersediaan.

Plugin perangkat keras yang dikelola komunitas untuk vLLM di Ascend

OpenLake adalah mesin penyimpanan berkinerja tinggi untuk inferensi LLM dan pelatihan GPU yang efisien

🏕️ Lingkungan pengembangan yang dapat direproduksi untuk manusia dan agen.

AICI: Prompt sebagai program (Wasm)

MLRun adalah platform MLOps open-source untuk membangun dan mengelola aplikasi ML berkelanjutan secara cepat di seluruh siklus hidupnya. MLRun terintegrasi ke dalam lingkungan pengembangan dan CI/CD Anda serta mengotomatiskan pengiriman data produksi, pipeline ML, dan aplikasi online.

Alat DevOps sumber terbuka dari CNCF untuk memaketkan dan melakukan versi pada model AI/ML, dataset, kode, serta konfigurasi ke dalam OCI Artifact.

RTP-LLM: Mesin inferensi LLM performa tinggi Alibaba untuk berbagai aplikasi.

Hopsworks - Platform AI yang intensif data dengan Feature Store

Cara termudah untuk menyajikan model AI/ML dalam produksi

SGLang-Omni mendukung penyajian berkinerja tinggi untuk model TTS, ASR, ucapan, dan omni.

Kerangka kerja penayangan berkinerja tinggi yang berorientasi pada throughput untuk LLM

Server inferensi yang dapat diskalakan untuk model yang dioptimalkan dengan OpenVINO™

Mesin akselerasi inferensi LLM yang sangat dioptimalkan untuk Llama dan variannya.

Framework penyajian model ML performa tinggi, menawarkan batching dinamis dan pipeline CPU/GPU untuk memaksimalkan mesin komputasi Anda

Penyajian LLM Tanpa Server untuk Semua Orang.

Ollama untuk model ML klasik. Kompiler AOT yang mengubah model XGBoost, LightGBM, scikit-learn, CatBoost & ONNX menjadi kode inferensi C99 asli. Satu perintah untuk memuat, satu perintah untuk melayani. 336x lebih cepat daripada inferensi Python.

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Aplikasi Kerangka Kerja FastAPI untuk menyajikan model machine learning yang siap diproduksi.