vllm

Prometheus와 GPT4를 사용하여 LLM의 응답 평가 💯

C++ 및 CUDA로 구축하는 고성능 LLM 추론 엔진 - vLLM의 경량 버전

디퓨전 및 옴니 모델을 위한 멀티모달 RL 학습 프레임워크

통합 멀티모달 모델 강화 학습을 위한 프레임워크 UniRL

모델 추론, Transformer 모델 구조, LLM 프레임워크 코드 분석 노트를 포함한 LLM 노트

LLM 추론 서빙 및 최적화를 위한 10주간, 하루 30분 로드맵. vLLM, SGLang, 양자화, 투기적 디코딩, 벤치마킹.

DeepSeek-OCR-2 AI를 사용하여 이미지 및 PDF 파일을 처리할 수 있는 로컬, 오프라인(초기 설정 후), 포터블 OCR 소프트웨어 (로컬 기기에서 직접 실행).

Debian에서 로컬 및 완전 비공개 LLM 서버를 구축하기 위한 엔드투엔드 문서. 채팅, 웹 검색, RAG, 모델 관리, MCP 서버, 이미지 생성 및 TTS 기능 포함

Discord를 LLM 프론트엔드로 만들기 - 모든 OpenAI 호환 API 지원 (OpenRouter, Ollama 등)

대화형 데이터 탐색 및 분석을 위한 LLM 기반 Python 라이브러리입니다.

[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

LLM 추론 시스템을 위한 정확하고 확장 가능한 대규모 시뮬레이터

점진적 지식 증류를 통해 SAM3를 가볍고 엣지 환경에 친화적인 모델로 압축하여, 빠른 프롬프트 기반 개념 분할 및 추적을 지원합니다.

SparkTTS, OrpheusTTS 등의 모델을 기반으로 고품질 중국어 음성 합성 및 음성 복제 서비스를 제공합니다.

[CVPR 2025] RoboBrain: 추상적 개념에서 구체적 행동까지 로봇 조작을 위한 통합 뇌 모델 공식 저장소

Crater는 클라우드 네이티브 AI 학습 및 추론 플랫폼입니다.

vLLM 서버를 관리하고 상호작용하기 위한 현대적인 웹 인터페이스입니다. GPU 및 CPU 모드를 모두 지원하며, macOS Apple Silicon 및 OpenShift/Kubernetes 엔터프라이즈 배포에 최적화되어 있습니다.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

vLLM을 사용하여 LLM을 서빙하기 위한 명령줄 인터페이스 도구

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton