llm-inference

분산형 LLM 추론. 홈 기기들을 강력한 클러스터로 연결하여 LLM 추론을 가속화합니다. 기기가 많을수록 추론 속도가 빨라집니다.

Medusa: 여러 디코딩 헤드로 LLM 생성을 가속화하기 위한 간단한 프레임워크

EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), EAGLE-3 (NeurIPS'25) 공식 구현체.

기업이 아닌 커뮤니티 공동체가 만든 터미널용 오픈 코딩 에이전트. 자신만의 모델을 사용하고, 코드를 로컬에 유지하며, 누구에게도 빚지지 않습니다.

프로덕션 수준의 AI 기반 애플리케이션을 구축하기 위한 PHP 생태계의 에이전틱 프레임워크. LLM, 도구, 벡터 DB, 메모리 등의 컴포넌트를 데이터 및 UI와 상호작용하는 에이전트에 연결합니다.

AICI: (Wasm) 프로그램으로서의 프롬프트

GPU 또는 CPU(Linux/Windows/Mac)에서 gradio UI를 사용하여 어디서나 로컬로 Llama 2를 실행하세요. 생성형 에이전트/앱을 위한 로컬 llama2 백엔드로 `llama2-wrapper`를 사용하세요.

초고속 서버리스 GPU 추론, 샌드박스 및 백그라운드 작업

ExecuTorch 기반의 React Native 기기 내 AI 모델 실행을 위한 선언적 방식.

오픈 소스 지속적 추론 벤치마크 연구 플랫폼 — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 및 곧 출시될™ TPUv6e/v7/Trainium2/3

다양한 AI 가속기에 최적화된 LLM, VLM, DiT 및 REC 모델을 위한 고성능 추론 엔진. OpenAtom Foundation에서 호스팅됩니다.

크레딧, 보조금, 리소스를 통해 인도에서 AI를 육성하는 비영리 단체

브라우저 내에서 llama, deepseek-distill, kokoro 등 로컬 LLM을 실행하세요

AI의 도움을 받아 웹을 검색할 수 있는 소프트웨어 목록: https://hf.co/spaces/felladrin/awesome-ai-web-search

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 비공개로 컴퓨터에서 100% 오프라인으로 오픈 웨이트 LLM을 로컬에서 실행하세요. Discord 참여하기: https://discord.com/invite/8wGSsvmg4V

TPU에서 LLM을 확장하는 방법에 대한 짧은 블로그 스타일의 교과서 "How To Scale Your Model" 저장소

다양한 분야의 최고 수준 모의 해킹 도구 및 생산성 유틸리티 선별 모음입니다. 해킹 툴킷을 탐색하고, 기여하고, 향상해 보세요!

Lean에서의 정글 증명을 위한 Copilot으로서의 LLM

동적 GPU 공유 등을 위한 가상화된 일래스틱 KV 캐시

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

로우 코드 방식을 통해 개발자와 비기술자 모두의 프롬프트 설계를 간소화하고 효율화합니다.

C++ 및 CUDA로 구축하는 고성능 LLM 추론 엔진 - vLLM의 경량 버전

OpenAlpha_Evolve는 DeepMind의 AlphaEvolve와 같은 자율 코딩 에이전트의 획기적인 연구에서 영감을 받은 오픈소스 Python 프레임워크입니다.

AI 기술의 바다를 항해하는 커뮤니티의 길잡이가 되어 줄 'AI-Compass'. 초보자와 숙련된 개발자 모두 AI의 다양한 분야로 향하는 경로를 찾을 수 있습니다.

최소 요금제 가격순으로 정렬된 멋진 호ス팅 목록

컴퓨터(CPU 및 GPU)에서 실시간 채팅을 위한 여러 모델의 순수 C++ 구현체

Llama 및 그 변형 모델을 위한 고도로 최적화된 LLM 추론 가속 엔진입니다.

모델 추론, Transformer 모델 구조, LLM 프레임워크 코드 분석 노트를 포함한 LLM 노트

LLM 추론 서빙 및 최적화를 위한 10주간, 하루 30분 로드맵. vLLM, SGLang, 양자화, 투기적 디코딩, 벤치마킹.

LLM.swift는 macOS, iOS, watchOS, tvOS 및 visionOS에서 로컬 대규모 언어 모델과 쉽게 상호 작용할 수 있도록 돕는 간결하고 읽기 쉬운 라이브러리입니다