llm-serving

Mesin inferensi dan serving ber-throughput tinggi serta hemat memori untuk LLM

Ray adalah mesin komputasi AI. Ray terdiri dari runtime terdistribusi inti dan serangkaian pustaka AI untuk mempercepat beban kerja ML.

Proyek ini bertujuan untuk berbagi prinsip teknis dan pengalaman praktis terkait model bahasa besar (rekayasa LLM dan implementasi aplikasi LLM).

TensorRT LLM menyediakan API Python yang mudah digunakan bagi pengguna untuk mendefinisikan Large Language Models (LLM) dan mendukung optimasi terkini untuk melakukan inferensi secara efisien pada GPU NVIDIA. TensorRT LLM juga berisi komponen untuk membuat runtime Python dan C++ yang mengatur eksekusi inferensi dengan performa tinggi.

Jalankan LLM open-source apa pun, seperti DeepSeek dan Llama, sebagai endpoint API yang kompatibel dengan OpenAI di cloud.

Platform komputasi AI untuk tim terdepan. SkyPilot mengubah komputasi AI yang terfragmentasi menjadi satu superkomputer AI, sehingga tim AI dapat membangun kecerdasan kustom dengan lebih cepat.

Cara termudah untuk melayani aplikasi dan model AI - Membangun API inferensi model, antrean tugas, aplikasi LLM, pipeline multi-model, dan banyak lagi.

Manajer klaster GPU untuk penyajian model AI berkinerja tinggi (vLLM, SGLang) dan instans GPU yang dapat diakses via SSH sesuai permintaan.

Superduper: Kerangka kerja end-to-end untuk membangun aplikasi dan agen AI kustom.

Server inferensi Multi-LoRA yang dapat diskalakan hingga ribuan LLM yang telah di-fine-tune.

Toolkit Inferensi dan Penerapan Berkinerja Tinggi untuk LLM dan VLM yang berbasis pada PaddlePaddle

Kerangka kerja inferensi berkinerja tinggi untuk model bahasa besar, yang berfokus pada efisiensi, fleksibilitas, dan ketersediaan.

Plugin perangkat keras yang dikelola komunitas untuk vLLM di Ascend

MoBA: Mixture of Block Attention untuk LLM Konteks Panjang

AICI: Prompt sebagai program (Wasm)

Platform Riset Benchmark Inferensi Berkelanjutan Open Source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & segera hadir™ TPUv6e/v7/Trainium2/3 | Platform riset benchmark inferensi berkelanjutan open-source — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, segera hadir™ TPUv6e/v7/Trainium2/3

Parallax adalah kerangka kerja penyajian model terdistribusi yang memungkinkan Anda membangun kluster AI sendiri di mana saja

RTP-LLM: Mesin inferensi LLM performa tinggi Alibaba untuk berbagai aplikasi.

KV Cache Elastis Tervirtualisasi untuk Berbagi GPU Dinamis dan Lebih Jauh Lagi

Kerangka kerja penayangan berkinerja tinggi yang berorientasi pada throughput untuk LLM

Mesin akselerasi inferensi LLM yang sangat dioptimalkan untuk Llama dan variannya.

Framework penyajian model ML performa tinggi, menawarkan batching dinamis dan pipeline CPU/GPU untuk memaksimalkan mesin komputasi Anda

Armada Agen Pribadi dengan Pemrograman Spesifikasi. Setiap agen mendapatkan desktop berakselerasi GPU mereka sendiri. Jalankan Claude, Codex, Gemini, dan model terbuka pada AI Stack pribadi penuh

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

FineTuning LLM (Large Language Model)