rocm

유연성, 효율성, 이식성을 타협하지 않는 차세대 텐서 라이브러리이자 Deep Learning Framework인 Burn입니다.

오픈 머신러닝 컴파일러 프레임워크

GPU를 위한 NumPy 및 SciPy

LMCache: 가장 빠른 KV 캐시 레이어로 LLM 성능 극대화

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접근 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자

Lemonade는 사용자의 GPU와 NPU에서 직접 최적화된 LLM을 구동하여 로컬 AI 앱을 발견하고 실행할 수 있도록 돕습니다. 디스코드 참여: https://discord.gg/5xXzkMu8Zk

OpenAI의 Whisper를 거의 실시간으로 구현한 프로젝트

재타겟팅이 가능한 MLIR 기반 머신러닝 컴파일러 및 런타임 툴킷입니다.

소비자용 및 이기종 하드웨어를 위한 LLM 추측적 추론 서버

다체 포텐셜 에너지 표현 및 분자 동역학을 위한 딥 러닝 패키지입니다.

대규모 LLM 추론 엔진

오픈 소스 지속적 추론 벤치마크 연구 플랫폼 — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 및 곧 출시될™ TPUv6e/v7/Trainium2/3

강력한 Chatterbox TTS 모델을 자체 호스팅하세요. 이 서버는 사용자 친화적인 Web UI, 유연한 API 엔드포인트(OpenAI 호환 포함), 사전 정의된 목소리, 목소리 복제, 대규모 오디오북 수준의 텍스트 처리를 제공합니다. NVIDIA (CUDA), AMD (ROCm) 및 CPU에서 가속화되어 실행됩니다.

stdgpu: GPU에서 작동하는 효율적인 STL 유사 자료구조

UniLab: GPU 중심 패러다임을 넘어선 로봇 RL을 위한 이기종 아키텍처

Rust로 작성된 RDNA 네이티브 LLM 추론 엔진

하드웨어 가속을 사용하여 로컬 추론을 위해 llama.cpp를 직접 통합한 Go 애플리케이션입니다.

ROCm 소프트웨어 플랫폼에 정의된 다양한 소프트웨어 계층을 위한 Dockerfile