inference

Envoy Gateway 기반의 생성형 AI 서비스 통합 액세스 관리

256MB RAM이 탑재된 10달러짜리 보드에서 10억 개의 매개변수를 가진 LLM 실행

AgiBot X1용 추론 모듈

멀티코어 CPU용 신경망 가속 패키지

🤗 Hugging Face 트랜스포머 모델을 위한 효율적이고 확장 가능한 엔터프라이즈급 CPU/GPU 추론 서버 🚀

AI 모델을 위한 고성능 추론 엔진

오픈 소스 지속적 추론 벤치마크 연구 플랫폼 — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 및 곧 출시될™ TPUv6e/v7/Trainium2/3

통합 API 인터페이스를 통해 여러 제공업체에 걸쳐 LLM 요청을 라우팅, 관리 및 분석합니다.

다양한 AI 가속기에 최적화된 LLM, VLM, DiT 및 REC 모델을 위한 고성능 추론 엔진. OpenAtom Foundation에서 호스팅됩니다.

CPU와 GPU에서 transformer 추론(Bert, Albert, GPT2, Decoders 등)을 위한 빠르고 사용자 친화적인 런타임

nvidia-smi 바이너리 또는 NVML을 사용하는 prometheus용 Nvidia GPU 익스포터

10줄 미만의 코드로 저비용 ML 추론 서비스를 배포하세요.

RTP-LLM: 다양한 애플리케이션을 위한 Alibaba의 고성능 LLM 추론 엔진.

Rust로 작성된 고성능, 모듈식, 메모리 안전 및 프로덕션준비가 완료된 추론, 수집 및 인덱싱 엔진입니다 🦀

그래프 및 쌍(pairwise) 설정에서의 인과 추론 패키지. 그래프 구조 복구 및 종속성 도구가 포함되어 있습니다.

ML 인프라를 위한 PyTorch처럼, Python에서 Kubernetes로 AI 워크로드 분산 및 실행을 마법처럼 처리

간편한 LLM KV 캐시 압축 도구

성능(지연 시간, 메모리 등)에 최적화되고 Qualcomm® 기기에 바로 배포할 수 있는 최신 머신러닝 모델 모음인 Qualcomm® AI Hub Models입니다.

SGLang-Omni는 TTS, ASR, 음성 및 옴니 모델을 위한 고성능 서빙을 지원합니다.

Apple Silicon용 네이티브 LLM 추론 서버. OpenAI 및 Anthropic API 호환. Python 미사용. 채팅, 에이전트 모드, 도구 호출을 지원하는 MLX Core macOS 앱 포함.

C++ 및 CUDA로 구축하는 고성능 LLM 추론 엔진 - vLLM의 경량 버전

LLM을 위한 처리량 중심의 고성능 서빙 프레임워크

MLX Studio - JANG_Q의 홈 - 이미지 생성/편집 + 채팅/코드 올인원 - + OpenClaw (Anthropic API)

Bolt는 고성능과 이기종 유연성을 갖춘 딥러닝 라이브러리입니다.

📚 현대 통계학 입문 - 다변수 관계와 시뮬레이션 기반 추론을 강조하는 현대적 접근 방식의 대학 수준 오픈소스 교과서

다양한 프레임워크의 딥러닝 모델을 실행하기 위한 통합 인터페이스

OpenVINO™로 최적화된 모델을 위한 확장 가능한 추론 서버

빠른 텍스트 음성 변환(TTS) 생성을 위한 Suno AI Bark 모델의 C/C++ 구현체

몇 분 만에 앱을 구축하고 배포할 수 있는 오픈 소스 컴퓨터 비전 프레임워크

PyTriton은 Python 환경에서 Triton 배포를 간소화하는 Flask/FastAPI 스타일의 인터페이스