qwen3

LLM을 위한 고성능 및 메모리 효율적인 추론 및 서빙 엔진

🔥 MaxKB는 기업용 수준의 에이전트를 구축하기 위한 오픈소스 플랫폼입니다. 强大易用的开源企业级智能体平台。

PEFT 또는 풀 파라미터를 사용하여 600개 이상의 LLM(Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) 및 300개 이상의 MLLM(Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...)을 학습/미세조정(CPT/SFT/DPO/GRPO)하는 툴킷 (AAAI 2025).

에이전트 강화학습 트레이너: GRPO를 사용하여 실제 태스크를 수행하는 다단계 에이전트를 훈련합니다. 에이전트에게 실무 교육을 제공하세요. Qwen3.6, GPT-OSS, Llama 등을 위한 강화학습!

몇 줄의 코드로 NPU, GPU, CPU 전반에 걸쳐 Qualcomm 기기에서 로컬로 프론티어 LLM 및 VLM 실행

프라이빗 데이터를 대상으로 추론 및 검색을 수행하는 오픈 소스 Deep Research 대안. Python으로 작성됨.

📚 코드와 함께 제공되는 엄선된 Awesome LLM/VLM 추론 논문 목록: Flash-Attention, Paged-Attention, WINT8/4, 병렬화 등 🎉

다른 소프트웨어를 설치할 필요 없이 Mac의 파일, 폴더, 웹사이트 정보를 바탕으로 응답할 수 있는 로컬 LLM과 대화할 수 있는 네이티브 macOS 앱입니다. llama.cpp로 구동됩니다.

ASR/STT 자막 생성기. Qwen3-ASR, 로컬 LLM, Whisper, TEN-VAD 사용. JAV에 대한 노이즈 저항성 제공

kubewall - 다중 클러스터 관리 및 AI 통합을 지원하는 단일 바이너리 Kubernetes 대시보드 (OpenAI / Claude 4 / Gemini / DeepSeek / OpenRouter / Ollama / Qwen / LMStudio)

Chat2API는 공식 웹 UI를 활용하여 주요 AI 모델에 비용 없이 접근할 수 있도록 지원합니다. DeepSeek, GLM, Kimi, MiniMax, Qwen, Z.ai 등의 제공자를 지원하며, openclaude, Cline, Roo-Code 등의 도구와 원활하게 통합됩니다.

클라우드 없이 Mac과 대화하고 문서에 대해 질의하세요. 온디바이스 음성 AI + RAG

체계적 문헌고찰을 위한 효율적인 초록 및 PDF 스크리닝 AI 도구.

민주화된 멀티모달 학습을 위한 완전 오픈 프레임워크

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

대형 모델 API 게이트웨이 - 새로운 AI 대형 모델 인터페이스 관리 및 API 통합 배포 시스템. 다양한 대형 모델을 통합된 OpenAI 호환 인터페이스, Claude 인터페이스, Gemini 인터페이스로 변환하는 것을 지원하며, 개인 또는 기업 내부의 대형 모델 API 통합 관리 및 채널 배포(키 관리 및 2차 배포)에 사용할 수 있습니다. 국내외 모든 주류 대형 모델(gemini, claude, qwen3, kimi-k2, 豆包 등)을 지원하며, 단일 실행 파일, Docker 이미지, 원클릭 배포, 바로 사용 가능한 기능을 제공하며 완전 오픈 소스이고 자주적으로 제어할 수 있습니다! 본 프로젝트는 New-API와 One-API를 기반으로 하며, NewAPI, OneAPI의 모든 기능과 수많은 타사 플러그인을 통합하여 기능이 매우 강력합니다!

3D 인터랙티브 제어를 통해 모든 카메라 시점에서 이미지 생성. 3D 공간에서 카메라를 드래그하거나 슬라이더로 방위각/고도/거리를 설정하여 생성 가능. Three.js 및 Gradio로 구축, 중/영 이중 언어 UI 지원.

Hugging Face를 즉시 지원하는 LLM/VLM용 Pytorch 분산 학습 라이브러리

대규모 언어 모델 기반의 병음 입력기

LLM, VLM, VLA, AIGC 관련 데이터셋 및 애플리케이션을 다루는 우수한 공개 프로젝트 모음

MimikaStudio - macOS(Apple Silicon)용 로컬 우선 애플리케이션 및 Agentic MCP 지원

Pure Rust + CUDA LLM 추론 엔진 — PyTorch 미사용, OpenAI 호환, Qwen3에서 Kimi-K2까지 서비스 제공

정적 suckless 단일 배치 CUDA 전용 qwen3-0.6B 미니 추론 엔진

Zig INferenCe Engine — AMD GPU 및 Apple Silicon에서 로컬 LLM 추론 실행