model-serving

LLM을 위한 고성능 및 메모리 효율적인 추론 및 서빙 엔진

AI 앱과 모델을 서빙하는 가장 쉬운 방법 - 모델 추론 API, 작업 큐, LLM 앱, 멀티 모델 파이프라인 등을 구축하세요!

옴니 모달리티 모델을 위한 효율적인 모델 추론 프레임워크

Kubernetes에서의 확장 가능한 멀티 프레임워크 배포를 위한 표준화된 분산 생성형 및 예측형 AI 추론 플랫폼

상시 작동 에이전트를 위한 오픈소스 퍼스널 클라우드 OS

이 저장소에서는 딥러닝 기반 모델을 프로덕션에 배포하는 것과 관련된 유용한 노트와 참고 자료를 공유합니다.

🚀 멋진 머신러닝 시스템 ⚡️ AI 시스템 논문 및 업계 프랙티스. ⚡️ 머신러닝 시스템, LLM (대형 언어 모델), GenAI (생성형 AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys 등. 🗃️ Llama3, Mistral 등. 🧑‍💻 동영상 튜토리얼.

LightLLM은 가벼운 디자인, 쉬운 확장성, 고속 성능이 특징인 파이썬 기반 LLM(대규모 언어 모델) 추론 및 서빙 프레임워크입니다.

대규모 분산 학습, 모델 서빙, 연합 학습을 위한 통합 및 확장 가능한 ML 라이브러리인 FEDML. 크로스 클라우드 스케줄러인 FEDML Launch를 통해 모든 GPU 클라우드나 온프레미스 클러스터에서 AI 작업을 실행할 수 있습니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.

수천 개의 파인튜닝된 LLM으로 확장 가능한 멀티 LoRA 추론 서버

효율성, 유연성, 가용성에 중점을 둔 대규모 언어 모델용 고성능 추론 프레임워크입니다.

Ascend 기반 vLLM을 위한 커뮤니티 유지보수 하드웨어 플러그인

OpenLake는 효율적인 LLM 추론과 GPU 학습을 위한 고성능 스토리지 엔진입니다

인간과 에이전트를 위한 재현 가능한 개발 환경

AICI: (Wasm) 프로그램으로서의 프롬프트

MLRun은 전체 라이프사이클에 걸쳐 지속적인 ML 애플리케이션을 빠르게 구축하고 관리하기 위한 오픈소스 MLOps 플랫폼입니다. 개발 및 CI/CD 환경에 통합되어 프로덕션 데이터, ML 파이프라인, 온라인 애플리케이션의 배포를 자동화합니다.

AI/ML 모델, 데이터셋, 코드, 설정을 OCI 아티팩트로 패키징하고 버전 관리하기 위한 CNCF의 오픈 소스 DevOps 도구입니다.

RTP-LLM: 다양한 애플리케이션을 위한 Alibaba의 고성능 LLM 추론 엔진.

Hopsworks - 피처 스토어가 포함된 데이터 집약적 AI 플랫폼

AI/ML 모델을 프로덕션 환경에서 서비스하는 가장 간단한 방법

SGLang-Omni는 TTS, ASR, 음성 및 옴니 모델을 위한 고성능 서빙을 지원합니다.

LLM을 위한 처리량 중심의 고성능 서빙 프레임워크

OpenVINO™로 최적화된 모델을 위한 확장 가능한 추론 서버

Llama 및 그 변형 모델을 위한 고도로 최적화된 LLM 추론 가속 엔진입니다.

고성능 ML 모델 서빙 프레임워크로, 컴퓨팅 머신을 최대한 활용할 수 있도록 동적 배칭 및 CPU/GPU 파이프라인을 제공합니다.

모두를 위한 Serverless LLM 서빙.

전통적인 ML 모델을 위한 Ollama입니다. XGBoost, LightGBM, scikit-learn, CatBoost 및 ONNX 모델을 네이티브 C99 추론 코드로 변환하는 AOT 컴파일러로, Python 추론 대비 336배 빠릅니다.

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

머신러닝 모델을 프로덕션 환경에서 서비스하기 위한 FastAPI 스켈레톤 앱

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton