vllm

Toolkit pengenalan suara open source untuk pelatihan, inferensi, streaming ASR, VAD, tanda baca, pipeline diarization pembicara, dan penyajian yang kompatibel dengan OpenAI/MCP.

Selamat datang di Llama Cookbook! Ini adalah panduan utama Anda untuk Membangun dengan Llama: Memulai dengan Inference, Fine-Tuning, RAG. Kami juga menunjukkan cara menyelesaikan masalah end-to-end menggunakan keluarga model Llama dan menggunakannya di berbagai layanan penyedia

Analisis kode sumber, desain sistem, dan catatan praktik rekayasa perangkat lunak

Pustaka sumber terbuka komprehensif berisi keterampilan riset dan rekayasa AI untuk model AI apa pun. Kemas keterampilan tersebut dan agen claude code/codex/gemini Anda akan menjadi agen riset AI dengan performa penuh. Dikelola oleh Orchestra Research.

LMCache: Tingkatkan LLM Anda dengan lapisan KV Cache tercepat

Kerangka kerja Agentic RL yang mudah digunakan, skalabel, dan berkinerja tinggi berbasis Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

Ganti GPT dengan LLM apa pun hanya dengan mengubah satu baris kode. Xinference memungkinkan Anda menjalankan model open-source, ucapan, dan multimodal di cloud, on-premise, atau laptop Anda — semuanya melalui satu API inferensi terpadu yang siap untuk produksi.

Kerangka Kerja Layanan Inferensi Terdistribusi Skala Pusat Data

Mooncake adalah platform layanan untuk Kimi, layanan LLM terkemuka yang disediakan oleh Moonshot AI.

Platform inferensi AI generatif dan prediktif terdistribusi yang terstandarisasi untuk penerapan multi-framework yang skalabel di Kubernetes.

Kerangka kerja MCP Low-Code untuk membangun pipeline RAG yang kompleks dan inovatif.

Manajer klaster GPU untuk penyajian model AI berkinerja tinggi (vLLM, SGLang) dan instans GPU yang dapat diakses via SSH sesuai permintaan.

Pertukaran model yang andal untuk server lokal yang kompatibel dengan OpenAI/Anthropic - llama.cpp, vllm, dll

Router Mixture-of-Models yang dapat diprogram untuk inferensi LLM heterogen.

Daftar pilihan makalah inferensi LLM/VLM dengan kode: Flash-Attention, Paged-Attention, WINT8/4, Paralelisme, dll.

Ekstraksi data terstruktur, pemanggilan instruksi, dan alur kerja agen dengan ML, LLM, dan Vision LLM

Mempelajari sistem inferensi LLM pada Apple Silicon untuk insinyur sistem: membangun vLLM + Qwen sederhana

Runtime bertingkat untuk agen AI. Optimalkan biaya, latensi, kualitas, dan keputusan kebijakan di dalam loop agen.

Toolkit Inferensi dan Penerapan Berkinerja Tinggi untuk LLM dan VLM yang berbasis pada PaddlePaddle

RamaLama adalah alat pengembang open-source yang menyederhanakan penyajian lokal model AI dari sumber apa pun dan memfasilitasi penggunaannya untuk inferensi dalam produksi, semuanya melalui bahasa kontainer yang sudah dikenal.

Plugin perangkat keras yang dikelola komunitas untuk vLLM di Ascend

Panel kontrol untuk VLLM, Sglang, llama.cpp, exllamav3

Platform Riset Benchmark Inferensi Berkelanjutan Open Source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & segera hadir™ TPUv6e/v7/Trainium2/3 | Platform riset benchmark inferensi berkelanjutan open-source — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, segera hadir™ TPUv6e/v7/Trainium2/3

Algoritma kuantisasi SOTA untuk inferensi LLM bit-rendah dengan akurasi tinggi, dioptimalkan secara mulus untuk CPU/XPU/CUDA, dengan dukungan berbagai tipe data dan kompatibilitas penuh dengan vLLM, SGLang, dan Transformers.

Server inferensi LLM yang kompatibel dengan OpenAI dan Anthropic berkinerja tinggi untuk Apple Silicon. Dilengkapi MLX asli, continuous batching, model multimodal, pemanggilan alat MCP, dan dukungan Claude Code.

KV Cache Elastis Tervirtualisasi untuk Berbagi GPU Dinamis dan Lebih Jauh Lagi

Operator Inferensi AI untuk Kubernetes. Cara termudah untuk menjalankan model ML di lingkungan produksi. Mendukung VLM, LLM, embedding, dan text-to-speech.

Toolkit kuantisasi (kompresi) model LLM dengan dukungan akselerasi HW untuk GPU Nvidia, AMD, Intel, dan CPU Intel/AMD/Apple melalui HF, vLLM, dan SGLang.

🔒 API gateway tingkat enterprise yang membantu Anda memantau dan menerapkan batasan biaya atau laju per kunci API. Dapatkan kontrol akses dan pemantauan yang mendetail per pengguna, aplikasi, atau lingkungan. Mendukung OpenAI, Azure OpenAI, Anthropic, vLLM, dan LLM open-source.

Qwen3.8-27B pada satu RTX 3090 dengan vLLM: ~1.000 tok/s pada 64 konkuren (GEMM tensor-core int8, status fp16 DeltaNet), ~114 tok/s pengguna tunggal pada sampling default / ~124 greedy (draft MTP, vocab draft output sendiri, lm_head int4 terkalibrasi, verifikasi attention split-KV), konteks 150k-262k; patch, skrip requant, benchmark