llm-inference

GPT4All: 모든 기기에서 로컬 LLM을 실행하세요. 오픈소스이며 상업적 이용이 가능합니다.

Ray는 AI 연산 엔진입니다. 코어 분산 런타임과 ML 워크로드를 가속화하는 AI 라이브러리 세트로 구성되어 있습니다.

Gitleaks로 시크릿 정보 탐색 🔑

본 프로젝트는 대형 모델 관련 기술 원리 및 실전 경험(대형 모델 엔지니어링, 대형 모델 애플리케이션 구현)을 공유하는 것을 목표로 합니다.

대규모 사전 학습, 파인튜닝, 배포를 위한 레시피가 포함된 20개 이상의 고성능 LLM.

DeepSeek 및 Llama 같은 오픈소스 LLM을 클라우드에서 OpenAI 호환 API 엔드포인트로 실행하세요.

OpenVINO™는 AI 추론 최적화 및 배포를 위한 오픈 소스 툴킷입니다

로컬 배포를 위한 고속 대형 언어 모델 서빙

AI 앱과 모델을 서빙하는 가장 쉬운 방법 - 모델 추론 API, 작업 큐, LLM 앱, 멀티 모델 파이프라인 등을 구축하세요!

LMDeploy는 LLM 압축, 배포 및 서빙을 위한 툴킷입니다.

데이터센터 규모의 분산 추론 서빙 프레임워크

AlphaEvolve의 오픈소스 구현체

Plano는 에이전틱 앱을 위한 AI 네이티브 프록시 서버이자 데이터 플레인입니다. 스마트 LLM 라우팅, 관측 가능성, 에이전트 오케스트레이션, 가드레일을 제공하여 에이전트의 핵심 로직에 집중할 수 있도록 지원합니다.

단일 CPU와 8.24 GB RAM에서 2조 7,800억 개의 파라미터를 가진 Kimi K3 추론 실행. 포터블 C99: BLAS, 프레임워크, GPU 없음.

모든 M시리즈 MacBook에서 약 2GB의 RAM으로 Gemma 4 26B-A4B 추론 수행

FlashInfer: LLM 서빙을 위한 커널 라이브러리

모바일, 웨어러블, 스마트 홈, 로봇을 위한 양자화, 커널, 런타임 및 추론 엔진

Kubernetes에서의 확장 가능한 멀티 프레임워크 배포를 위한 표준화된 분산 생성형 및 예측형 AI 추론 플랫폼

⚡ 순수 Rust WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브, 모든 GPU에서 실행. Python 없음. llama.cpp 없음. 단일 바이너리.

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접근 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자

Lemonade는 사용자의 GPU와 NPU에서 직접 최적화된 LLM을 구동하여 로컬 AI 앱을 발견하고 실행할 수 있도록 돕습니다. 디스코드 참여: https://discord.gg/5xXzkMu8Zk

📚 코드와 함께 제공되는 엄선된 Awesome LLM/VLM 추론 논문 목록: Flash-Attention, Paged-Attention, WINT8/4, 병렬화 등 🎉

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크

Eko (Eko Keeps Operating) - 자연어로 프로덕션준비된 Agentic Workflow 구축 - eko.fellou.ai

RuVector는 Rust로 구축된 고성능 실시간 자기 학습 AI, 벡터 GNN, 메모리 DB입니다.

LLM을 위한 추론 프록시 최적화

가속화된 인프라 및 마이크로서비스 아키텍처에 최적화된 생성형 AI 레퍼런스 워크플로입니다.

수천 개의 파인튜닝된 LLM으로 확장 가능한 멀티 LoRA 추론 서버

스토리와 모델을 구축하기 위한 과학적 방법, 프로세스, 알고리즘 및 시스템 모음입니다.

운영 데이터베이스에 실시간 분석 노드를 추가하세요. Spice는 데이터 기반 AI 애플리케이션 및 에이전트를 위한 Rust 기반의 휴대용 가속 SQL 쿼리, 검색 및 LLM 추론 엔진입니다.