serving

Ray adalah mesin komputasi AI. Ray terdiri dari runtime terdistribusi inti dan serangkaian pustaka AI untuk mempercepat beban kerja ML.

Sistem penyajian model machine learning yang fleksibel dan berkinerja tinggi

Sistem Batch Cloud Native (Proyek di bawah CNCF)

Framework MLOps untuk mengemas, menyebarkan, memantau, dan mengelola ribuan model machine learning di lingkungan produksi.

Mempelajari sistem inferensi LLM pada Apple Silicon untuk insinyur sistem: membangun vLLM + Qwen sederhana

Repositori ini berisi catatan dan referensi berguna mengenai penerapan model berbasis deep learning ke dalam produksi.

Framework Python minimalis untuk membangun server inferensi AI kustom dengan kontrol penuh atas logika, batching, dan penskalaan.

Toolkit Inferensi dan Penerapan Berkinerja Tinggi untuk LLM dan VLM yang berbasis pada PaddlePaddle

Panduan komprehensif untuk membangun aplikasi LLM berbasis RAG untuk produksi.

Database vektor multi-modal yang mendukung upsert dan kueri vektor menggunakan SQL terpadu (kompatibel dengan MySQL) pada data terstruktur dan tidak terstruktur, sekaligus memenuhi persyaratan konkurensi tinggi dan latensi sangat rendah.

Carrier yang fleksibel dan berkinerja tinggi untuk model machine learning

Server inferensi yang dapat diskalakan untuk model yang dioptimalkan dengan OpenVINO™

Layanan penyajian (serving) model pembelajaran mesin yang generik dan mudah digunakan

Platform kecerdasan mesin end-to-end yang terpadu