inference

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크

cube studio 오픈소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대형 모델 AI 플랫폼. MLOps 알고리즘 파이프라인 전체 프로세스, 연산력 임대 플랫폼, 노트북 온라인 개발, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 멀티 노드 멀티 GPU 분산 학습, 하이퍼파라미터 탐색, 추론 서비스 VGPU 가상화, 엣지 컴퓨팅, 어노테이션 플랫폼 자동 어노테이션, DeepSeek 등 대형 모델 SFT 미세조정/보상 모델/강화학습 학습, vllm/ollama/mindie 대형 모델 멀티 노드 추론, 사내 지식 베이스, AI 모델 마켓, 국산 CPU/GPU/NPU 승텐(Ascend) 생태계 지원, RDMA 지원, PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano 등 분산 처리 지원

사용하기 쉬운 PyTorch to TensorRT 변환기

Transformer 모델을 위한 빠른 추론 엔진

TNN: 텐센트 유투 랩과 광잉 랩에서 개발한 모바일, 데스크톱, 서버를 위한 통합 딥러닝 추론 프레임워크입니다. 크로스 플랫폼, 고성능, 모델 압축 및 코드 가지치기 등의 뛰어난 기능이 특징입니다. ncnn과 Rapidnet을 기반으로 하며, 모바일 기기에 대한 지원과 성능 최적화를 더욱 강화했습니다.

TypeDB: 레코드가 아닌 시스템을 위해 구축됨

사전 학습된 딥러닝 모델 및 데모 (고품질 및 극도로 빠른 속도)

Kubernetes 환경에서 최신 가속기를 활용하여 최고 수준(SOTA)의 추론 성능을 달성하세요

가속화된 비디오 생성을 위한 통합 추론 및 학습 후 프레임워크

CSGHub은 OpenCSG 팀이 개발한 LLM 관리를 위한 새로운 오픈소스 플랫폼입니다. Hugging Face에 필적하는 기능을 갖춘 오픈소스 및 온프레미스/SaaS 솔루션을 제공합니다. Hugging Face와 호환되는 Python SDK를 통해 LLM, 데이터셋, 에이전트의 라이프사이클을 완전히 제어할 수 있습니다. 참여해 주세요! ⭐️

모든 모델. 모든 하드웨어. 타협 없는 성능. @ziglang / @openxla / MLIR / @bazelbuild로 구축됨

PaddlePaddle 기반의 LLM 및 VLM을 위한 고성능 추론 및 배포 툴킷

Apple Silicon을 위한 가장 빠른 로컬 AI 엔진. Ollama보다 4.2배 빠름, 0.08초 캐시된 TTFT, 100% 툴 콜링 지원. 17개의 툴 파서, 프롬프트 캐시, 추론 분리, 클라우드 라우팅 제공. OpenAI 드롭인 대체재. Claude Code, Cursor, Aider와 호환.

공채, 인턴을 위한 훌륭한 프로젝트! llama2, Unet, Yolov5, Resnet 등 대형 모델의 추론을 지원하는 고성능 딥러닝 추론 라이브러리를 제로부터 단계별로 구현합니다.

🚀 사용하기 쉬운 하드웨어 최적화 도구로 🤗 Transformers, Diffusers, TIMM 및 Sentence Transformers의 추론 및 학습을 가속화하세요.

📚 OpenVINO™용 Jupyter 노트북 튜토리얼

에이전트에 필요한 모든 모델을 위한 오픈소스 추론 서버 및 프로덕션 클러스터

학습 및 추론을 위한 PyTorch 기본 양자화

Ascend 기반 vLLM을 위한 커뮤니티 유지보수 하드웨어 플러그인

JavaScript에서 Hugging Face 사용하기

Rust 기반 ONNX 모델을 위한 빠른 ML 추론 및 학습

cubestudio 오픈소스 클라우드 네이티브 원스톱 머신러닝/딥러닝/대형언어모델 AI 플랫폼

모바일, 서버, 웹을 위한 고효율 부동소수점 신경망 추론 연산자

모든 컴퓨터나 엣지 디바이스를 컴퓨터 비전 프로젝트를 위한 제어 센터로 전환하세요.

실용 AI 마스터하기, 한 번에 하나의 개념씩

클라우드, Kubernetes 및 베어메탈 환경의 NVIDIA, AMD, TPU, Tenstorrent 전반에서 학습, 추론 및 에이전트 워크로드를 위한 벤더 중립적 오케스트레이션.

단일 인터페이스를 사용하여 LLM 제공자와 통신

단일 파일에서 Llama 2 추론 실행

DeepSpeed 기반의 MII를 통해 저지연 및 고처리량 추론이 가능합니다.

AICI: (Wasm) 프로그램으로서의 프롬프트