gpt-oss

Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma 및 기타 모델을 설정하고 실행하세요.

LLM을 위한 고성능 및 메모리 효율적인 추론 및 서빙 엔진

SGLang은 대규모 언어 모델 및 멀티모달 모델을 위한 고성능 서빙 프레임워크입니다.

[MLsys2026]: LEANN을 사용한 모든 것의 RAG. 개인 기기에서 빠르고 정확하며 100% 프라이버시가 보장되는 RAG 애플리케이션을 실행하면서 97%의 스토리지 절감 효과를 누리세요.

Qwen, Gemma 또는 모든 오픈 웨이트 LLM을 손쉽게 파인튜닝, 평가 및 배포하세요!

몇 줄의 코드로 NPU, GPU, CPU 전반에 걸쳐 Qualcomm 기기에서 로컬로 프론티어 LLM 및 VLM 실행

초대형 MoE 모델을 위해 구축된 차세대 학습 엔진

다른 소프트웨어를 설치할 필요 없이 Mac의 파일, 폴더, 웹사이트 정보를 바탕으로 응답할 수 있는 로컬 LLM과 대화할 수 있는 네이티브 macOS 앱입니다. llama.cpp로 구동됩니다.

ChatGPT, Gemini, Claude, DeepSeek 및 기타 모델을 지원하는 강력한 Zotero AI 및 MCP 플러그인

TokenSpeed는 초고속 LLM 추론 엔진입니다.

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 비공개로 컴퓨터에서 100% 오프라인으로 오픈 웨이트 LLM을 로컬에서 실행하세요. Discord 참여하기: https://discord.com/invite/8wGSsvmg4V

Codex CLI + Claude Code를 위한 경량 에이전트 워크스테이션 — 작업 스케줄러, git worktree 및 원격 제어 포함

Hugging Face를 즉시 지원하는 LLM/VLM용 Pytorch 분산 학습 라이브러리

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp