serving

Ray는 AI 연산 엔진입니다. 코어 분산 런타임과 ML 워크로드를 가속화하는 AI 라이브러리 세트로 구성되어 있습니다.

유연하고 고성능인 머신러닝 모델 서빙 시스템

클라우드 네이티브 배치 시스템 (CNCF 산하 프로젝트)

수천 개의 프로덕션 머신러닝 모델을 패키징, 배포, 모니터링 및 관리하기 위한 MLOps 프레임워크

시스템 엔지니어를 위한 Apple Silicon 기반 LLM 추론 시스템 학습: tiny vLLM + Qwen 빌드

이 저장소에서는 딥러닝 기반 모델을 프로덕션에 배포하는 것과 관련된 유용한 노트와 참고 자료를 공유합니다.

로직, 배치 처리, 스케일링을 완벽하게 제어할 수 있는 커스텀 AI 추론 서버 구축용 미니멀 Python 프레임워크

PaddlePaddle 기반의 LLM 및 VLM을 위한 고성능 추론 및 배포 툴킷

프로덕션 환경을 위한 RAG 기반 LLM 애플리케이션 구축 종합 가이드

구조화 및 비구조화 데이터에 대해 통합 SQL(MySQL 호환)을 사용하여 업서트 및 벡터 쿼리를 지원하는 동시에 고동시성과 초저지연 요구사항을 충족하는 멀티모달 벡터 데이터베이스.

머신 러닝 모델을 위한 유연하고 고성능인 캐리어(PaddlePaddle 서비스 배포 프레임워크)

OpenVINO™로 최적화된 모델을 위한 확장 가능한 추론 서버

머신러닝 모델을 위한 범용적이고 사용하기 쉬운 서빙 서비스

통합 엔드투엔드 머신 인텔리전스 플랫폼