qwen3

Ein hocheffizientes und speichereffizientes Inferenz- und Serving-Engine für LLMs

🔥 MaxKB ist eine Open-Source-Plattform zur Entwicklung von Agenten auf Unternehmensebene.

Verwenden Sie PEFT oder Vollparameter für CPT/SFT/DPO/GRPO von über 600 LLMs und über 300 MLLMs (AAAI 2025).

Agent Reinforcement Trainer: Trainieren Sie mehrstufige Agenten für reale Aufgaben mit GRPO. Geben Sie Ihren Agenten ein On-the-Job-Training. Reinforcement Learning für Qwen3.6, GPT-OSS, Llama und mehr!

Führe moderne LLMs und VLMs lokal auf Qualcomm-Geräten über NPU, GPU und CPU mit wenigen Zeilen Code aus.

Open-Source-Alternative für Deep Research zum Ableiten und Durchsuchen privater Daten. In Python geschrieben.

📚 Eine kuratierte Liste fantastischer LLM/VLM-Inferenz-Papers mit Code: Flash-Attention, Paged-Attention, WINT8/4, Parallelismus usw. 🎉

Eine native macOS-App, mit der Benutzer mit einem lokalen LLM chatten können, das auf Informationen aus Dateien, Ordnern und Websites auf dem Mac zugreifen kann, ohne zusätzliche Software zu installieren. Unterstützt durch llama.cpp.

ASR/STT-Untertitelgenerator. Verwendet Qwen3-ASR, lokale LLM, Whisper, TEN-VAD. Rauschrobust für JAV

kubewall – Einzelnes Binär-Kubernetes-Dashboard mit Multicluster-Verwaltung und KI-Integration. (OpenAI / Claude 4 / Gemini / DeepSeek / OpenRouter / Ollama / Qwen / LMStudio)

Chat2API ermöglicht den kostenlosen Zugriff auf führende KI-Modelle durch Nutzung offizieller Web-UIs. Es unterstützt Anbieter wie DeepSeek, GLM, Kimi, MiniMax, Qwen und Z.ai und lässt sich nahtlos in Tools wie openlcaw, Cline und Roo-Code integrieren.

Mit dem Mac sprechen, Dokumente abfragen, keine Cloud erforderlich. Sprach-KI auf dem Gerät + RAG

KI-gestütztes Tool für effizientes Abstract- und PDF-Screening in systematischen Reviews.

Vollständig offenes Framework für demokratisiertes multimodales Training

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Generierung von Bildern aus beliebigen Kameraperspektiven mittels interaktiver 3D-Steuerung. Bewegen Sie die Kamera im 3D-Raum oder nutzen Sie Schieberegler für Azimut, Elevation und Distanz. Erstellt mit Three.js und Gradio, zweisprachige Benutzeroberfläche (ZH/EN).

API-Gateway für große Sprachmodelle zur zentralen Verwaltung und Verteilung von KI-Schnittstellen. Kompatibel mit OpenAI, Claude, Gemini und weiteren Modellen.

🚀 Native PyTorch-Bibliothek für das verteilte Training von LLMs/VLMs mit integrierter Hugging-Face-Unterstützung

Von großen Sprachmodellen angetriebene Pinyin-Eingabemethode

🚀🚀🚀 Eine Sammlung großartiger öffentlicher Projekte zu Large Language Models (LLM), Vision Language Models (VLM), Vision Language Action (VLA), AI Generated Content (AIGC) sowie den zugehörigen Datensätzen und Anwendungen.

MimikaStudio - Eine Local-First-Anwendung für macOS (Apple Silicon) + Agentic MCP Support

Reines Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2

Statische, minimalistische Single-Batch-Inferenz-Engine für qwen3-0.6B, ausschließlich für CUDA

Zig INferenCe Engine – Lokale LLM-Inferenz auf AMD-GPUs und Apple Silicon.