inference-engine

✍🏻 소스코드 심층 분석, 시스템 디자인 및 엔지니어링 블로그 | Halfrost-Field 冰霜之地: 소스 분석, 시스템 디자인 및 엔지니어링 실습 노트

단일 CPU와 8.24 GB RAM에서 2조 7,800억 개의 파라미터를 가진 Kimi K3 추론 실행. 포터블 C99: BLAS, 프레임워크, GPU 없음.

대규모 분산 학습, 모델 서빙, 연합 학습을 위한 통합 및 확장 가능한 ML 라이브러리인 FEDML. 크로스 클라우드 스케줄러인 FEDML Launch를 통해 모든 GPU 클라우드나 온프레미스 클러스터에서 AI 작업을 실행할 수 있습니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.

공채, 인턴을 위한 훌륭한 프로젝트! llama2, Unet, Yolov5, Resnet 등 대형 모델의 추론을 지원하는 고성능 딥러닝 추론 라이브러리를 제로부터 단계별로 구현합니다.

Golang으로 구현된 룰 엔진

OneDiff: 디퓨전 모델을 위한 즉시 사용 가능한 가속 라이브러리입니다.

대규모 LLM 추론 엔진

MLX에서 3배 더 빠른 속도 | Qwen 3.8 27B | 외부 드래프터 없이 Apple Silicon에서 네이티브 MTP 추측 디코딩.

다양한 AI 가속기에 최적화된 LLM, VLM, DiT 및 REC 모델을 위한 고성능 추론 엔진. OpenAtom Foundation에서 호스팅됩니다.

성능(지연 시간, 메모리 등)에 최적화되고 Qualcomm® 기기에 바로 배포할 수 있는 최신 머신러닝 모델 모음인 Qualcomm® AI Hub Models입니다.

동적 GPU 공유 등을 위한 가상화된 일래스틱 KV 캐시

Paddle.js는 브라우저에서 실행되는 오픈 소스 딥러닝 프레임워크인 Baidu PaddlePaddle을 위한 웹 프로젝트입니다. Paddle.js는 사전 학습된 모델을 로드하거나 제공된 도구를 사용하여 paddle-hub 모델을 변환할 수 있으며, WebGL/WebGPU/WebAssembly를 지원하는 모든 브라우저와 Baidu Smartprogram 및 WX 미니프로그램에서 실행 가능합니다.

모든 기기에서 LLM을 로컬로 효율적으로 실행할 수 있게 해주는 추론 엔진 NobodyWho

MLX Studio - JANG_Q의 홈 - 이미지 생성/편집 + 채팅/코드 올인원 - + OpenClaw (Anthropic API)

Llama 및 그 변형 모델을 위한 고도로 최적화된 LLM 추론 가속 엔진입니다.

다양한 기능이 기본 내장된 Python 컴퓨터 비전 및 비디오 분석 프레임워크

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

Apple Silicon에서 최대 4배 빨라진 무손실 LLM 디코딩. DeepSeek의 DSpark 및 z-lab의 DFlash 추정 디코딩(speculative decoding)의 네이티브 MLX 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, Ornith-1.0, 3진(ternary) Bonsai-27B 지원.

Yet Another Language Model: I/O를 제외한 라이브러리 의존성 없이 C++/CUDA로 구현한 LLM 추론 엔진

pylint 및 기타 프로젝트를 위한 Python 소스 코드의 공통 기반 표현

신입 채용 및 인턴십을 위한 프로젝트로, LLama2/3 및 Qwen2.5를 지원하는 대규모 언어 모델 추론 프레임워크를 처음부터 직접 구현합니다.

교사 모델에서 타일 모델까지 — 처음부터 구현한 LLM 증류 및 서빙 엔진: 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구를 포함합니다.

Krasis는 소비자용 VRAM 제한 하드웨어에서 대형 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다.

Intel 장치용 추론 엔진. OpenAI 엔드포인트를 통해 LLM, VLM, Whisper, Kokoro-TTS, 임베딩 및 리랭크 모델을 서비스합니다.