vllm

Evaluasi respons LLM Anda dengan Prometheus dan GPT4 💯

Bangun mesin inferensi LLM berkinerja tinggi Anda sendiri dalam C++ dan CUDA - versi yang lebih kecil dari vLLM.

Kerangka kerja pelatihan RL multimodal untuk model diffusion & omni

UniRL adalah framework untuk Reinforcement Learning Model Multimodal Terpadu

Catatan LLM, termasuk inferensi model, struktur model transformer, dan catatan analisis kode kerangka kerja LLM.

Roadmap 10 minggu, 30 menit per hari untuk inferensi dan pengoptimalan penyajian LLM. vLLM, SGLang, kuantisasi, decoding spekulatif, benchmarking.

Perangkat lunak OCR lokal, offline (setelah pengaturan awal), dan portabel yang dapat memproses gambar serta file PDF, menggunakan AI DeepSeek-OCR-2 (berjalan langsung di mesin Anda).

Dokumentasi ujung-ke-ujung untuk menyiapkan server LLM lokal & sepenuhnya privat Anda di Debian. Dilengkapi dengan obrolan, pencarian web, RAG, manajemen model, server MCP, pembuatan gambar, dan TTS.

Jadikan Discord frontend LLM Anda - Mendukung API apa pun yang kompatibel dengan OpenAI (OpenRouter, Ollama, dan lainnya)

Pustaka Python yang didukung oleh Model Bahasa (LLM) untuk penemuan dan analisis data percakapan.

[EMNLP 2024 & AAAI 2026] Toolkit canggih untuk mengompresi model besar termasuk LLM, VLM, dan model generatif video.

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Simulator yang akurat, berskala besar, dan dapat diperluas untuk sistem inferensi LLM

EfficientSAM3 mengompresi SAM3 menjadi model ringan yang ramah perangkat edge melalui distilasi pengetahuan progresif untuk segmentasi dan pelacakan konsep yang cepat.

Berdasarkan model seperti SparkTTS dan OrpheusTTS, menyediakan layanan sintesis suara Tiongkok dan kloning suara berkualitas tinggi.

[CVPR 2025] RoboBrain: Model Otak Terpadu untuk Manipulasi Robot dari Abstrak ke Konkret. Repositori Resmi.

Crater adalah platform pelatihan & inferensi AI berbasis cloud-native.

Antarmuka web modern untuk mengelola dan berinteraksi dengan server vLLM (www.github.com/vllm-project/vllm). Mendukung mode GPU dan CPU, dengan pengoptimalan khusus untuk macOS Apple Silicon dan penerapan perusahaan di OpenShift/Kubernetes.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Alat antarmuka baris perintah (CLI) untuk menyajikan LLM menggunakan vLLM.