llm-serving

LLM을 위한 고성능 및 메모리 효율적인 추론 및 서빙 엔진

Ray는 AI 연산 엔진입니다. 코어 분산 런타임과 ML 워크로드를 가속화하는 AI 라이브러리 세트로 구성되어 있습니다.

본 프로젝트는 대형 모델 관련 기술 원리 및 실전 경험(대형 모델 엔지니어링, 대형 모델 애플리케이션 구현)을 공유하는 것을 목표로 합니다.

TensorRT LLM은 사용자가 대규모 언어 모델(LLM)을 정의할 수 있는 사용하기 쉬운 Python API를 제공하며, NVIDIA GPU에서 효율적으로 추론을 수행할 수 있는 최신 최적화를 지원합니다. 또한 TensorRT LLM에는 고성능 방식으로 추론 실행을 조율하는 Python 및 C++ 런타임을 생성하는 구성 요소가 포함되어 있습니다.

DeepSeek 및 Llama 같은 오픈소스 LLM을 클라우드에서 OpenAI 호환 API 엔드포인트로 실행하세요.

프론티어 팀을 위한 AI 연산 플랫폼입니다. SkyPilot은 분산된 AI 연산을 하나의 AI 슈퍼컴퓨터로 통합하여, 프론티어 AI 팀이 맞춤형 인공지능을 더 빠르게 구축할 수 있도록 지원합니다.

AI 앱과 모델을 서빙하는 가장 쉬운 방법 - 모델 추론 API, 작업 큐, LLM 앱, 멀티 모델 파이프라인 등을 구축하세요!

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접근 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크

수천 개의 파인튜닝된 LLM으로 확장 가능한 멀티 LoRA 추론 서버

PaddlePaddle 기반의 LLM 및 VLM을 위한 고성능 추론 및 배포 툴킷

효율성, 유연성, 가용성에 중점을 둔 대규모 언어 모델용 고성능 추론 프레임워크입니다.

Ascend 기반 vLLM을 위한 커뮤니티 유지보수 하드웨어 플러그인

MoBA: 롱 컨텍스트 LLM을 위한 블록 어텐션의 혼합 (Mixture of Block Attention)

AICI: (Wasm) 프로그램으로서의 프롬프트

오픈 소스 지속적 추론 벤치마크 연구 플랫폼 — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 및 곧 출시될™ TPUv6e/v7/Trainium2/3

Parallax는 어디서나 자신만의 AI 클러스터를 구축할 수 있게 해주는 분산 모델 서빙 프레임워크입니다.

RTP-LLM: 다양한 애플리케이션을 위한 Alibaba의 고성능 LLM 추론 엔진.

동적 GPU 공유 등을 위한 가상화된 일래스틱 KV 캐시

LLM을 위한 처리량 중심의 고성능 서빙 프레임워크

Llama 및 그 변형 모델을 위한 고도로 최적화된 LLM 추론 가속 엔진입니다.

고성능 ML 모델 서빙 프레임워크로, 컴퓨팅 머신을 최대한 활용할 수 있도록 동적 배칭 및 CPU/GPU 파이프라인을 제공합니다.

♾️ Spec 코딩을 지원하는 프라이빗 에이전트 플릿. 각 에이전트는 전용 GPU 가속 데스크톱을 할당받습니다. 완전한 프라이빗 AI 스택에서 Claude, Codex, Gemini 및 오픈 모델을 실행하세요 ♾️

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

LLM(대규모 언어 모델) 파인튜닝