llm-inference

Verteilte LLM-Inferenz. Verbinden Sie Heimgeräte zu einem leistungsstarken Cluster, um die LLM-Inferenz zu beschleunigen. Mehr Geräte bedeuten eine schnellere Inferenz.

Medusa: Einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Decoding-Heads

Offizielle Implementierung von EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) und EAGLE-3 (NeurIPS'25).

Ein offener Coding-Agent für dein Terminal, entwickelt von einem Community-Kollektiv statt von einem Unternehmen. Bring dein eigenes Modell mit, behalte deinen Code auf deinem Rechner und schulde niemandem etwas.

Das Agentic-Framework des PHP-Ökosystems zum Erstellen von produktionsreifen, KI-gesteuerten Anwendungen. Verbinden Sie Komponenten (LLMs, Tools, Vektor-DBs, Speicher) mit Agenten, die mit Ihren Daten und Ihrer Benutzeroberfläche interagieren.

AICI: Prompts als (Wasm)-Programme

Führe Llama 2 lokal mit einer Gradio UI auf GPU oder CPU von überall aus (Linux/Windows/Mac) aus. Nutze `llama2-wrapper` als lokales Llama2-Backend für generative Agents/Apps.

Ultraschnelle, serverlose GPU-Inferenz, Sandboxes und Hintergrundjobs

Deklarative Möglichkeit, KI-Modelle in React Native auf dem Gerät auszuführen, angetrieben von ExecuTorch.

Open-Source-Forschungsplattform für kontinuierliche Inferenz-Benchmarks — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & bald™ TPUv6e/v7/Trainium2/3

Eine hochleistungsfähige Inferenz-Engine für LLM-, VLM-, DiT- und REC-Modelle, optimiert für verschiedene KI-Beschleuniger. Gehostet von der OpenAtom Foundation.

Die Non-Profit-Organisation, die KI in Indien durch Credits, Zuschüsse und Ressourcen fördert

Führe lokale LLMs wie llama, deepseek-distill, kokoro und mehr direkt im Browser aus

Liste von Software zur Websuche mit KI-Unterstützung: https://hf.co/spaces/felladrin/awesome-ai-web-search

Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus — privat, 100% offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V

Heimat von "How To Scale Your Model", einem kurzen, blog-artigen Lehrbuch über die Skalierung von LLMs auf TPUs

Eine kuratierte Sammlung erstklassiger Penetrationstesting-Tools und Produktivitätsdienstprogramme für verschiedene Bereiche. Machen Sie mit, um Ihr Hacking-Toolkit zu erkunden, beizutragen und zu verbessern!

LLMs als Copiloten für das Theorem-Beweisen in Lean

Virtualisierter Elastic KV Cache für dynamisches GPU-Sharing und mehr

Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks

Optimiert und vereinfacht das Prompt-Design für Entwickler und nicht-technische Anwender mit einem Low-Code-Ansatz.

Baue deine eigene performante LLM-Inferenz-Engine in C++ und CUDA – eine kleinere Version von vLLM

OpenAlpha_Evolve ist ein Open-Source-Python-Framework, inspiriert von der bahnbrechenden Forschung zu autonomen Coding-Agenten wie DeepMinds AlphaEvolve.

„AI-Compass“ weist der Community den Weg im Ozean der KI-Technologien. Egal ob Anfänger oder fortgeschrittener Entwickler, hier findet jeder den Pfad zu den verschiedenen KI-Richtungen. Ziel ist es, Entwicklern zu helfen, die Kernkonzepte, Mainstream-Technologien und Zukunftstrends von KI systematisch zu verstehen und den gesamten Prozess von der Theorie bis zur Praxis durch Übung zu meistern.

Liste hervorragender Hosting-Anbieter, sortiert nach dem günstigsten Tarif

Reine C++-Implementierung verschiedener Modelle für Echtzeit-Chats auf Ihrem Computer (CPU & GPU)

Eine hochoptimierte LLM-Inferenz-Beschleunigungs-Engine für Llama und dessen Varianten.

LLM-Notizen einschließlich Modellinferenz, Transformer-Modellstruktur und Quellcodeanalyse von LLM-Frameworks.

Ein 10-wöchiger, 30 Minuten pro Tag umfassender Fahrplan für LLM-Inferenz-Serving und -Optimierung. vLLM, SGLang, Quantisierung, spekulatives Decoding, Benchmarking.

LLM.swift ist eine einfache und gut lesbare Bibliothek, mit der Sie für macOS, iOS, watchOS, tvOS und visionOS ganz einfach lokal mit Large Language Models interagieren können.