llm-inference

GPT4All: Führe lokale LLM auf jedem Gerät aus. Open-source und für den kommerziellen Gebrauch verfügbar.

Ray ist ein AI-Rechen-Engine. Ray besteht aus einem Core-Distributed-Runtime und einer Reihe von AI-Bibliotheken zur Beschleunigung von ML-Workloads.

Finde Geheimnisse mit Gitleaks 🔑

Dieses Projekt zielt darauf ab, Prinzipien und praktische Erfahrungen zu großen Modellen zu teilen (großmodellengineering, großmodell-Anwendungen)

Über 20 High-Performance-LLMs mit Rezepten zum Vortrainieren, Fine-Tunen und Skalieren.

Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.

OpenVINO™ ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz

High-Speed-LLM-Serving für die lokale Bereitstellung

Der einfachste Weg, KI-Apps und -Modelle bereitzustellen – Erstellen Sie Modell-Inferenz-APIs, Job-artige Warteschlangen, LLM-Apps, Multi-Modell-Pipelines und mehr!

LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Ausführen von LLMs.

Ein verteiltes Inference-Serving-Framework auf Rechenzentrumsebene

Open-Source-Implementierung von AlphaEvolve

Ein 2,78-Billionen-Parameter-Modell Kimi K3, das Inferenz auf einer einzigen CPU in 8,24 GB RAM ausführt. Tragbares C99: kein BLAS, kein Framework, keine GPU.

Plano ist ein KI-nativer Proxyserver und Data Plane für Agenten-Apps. Intelligentes LLM-Routing, Observability, Agenten-Orchestrierung und Guardrails, damit Sie sich auf die Kernlogik Ihrer Agenten konzentrieren können.

Gemma 4 26B-A4B Inferenz in ca. 2 GB RAM auf jedem M-Series MacBook

FlashInfer: Kernel-Bibliothek für LLM-Serving

Quantisierung, Kernels, Laufzeit und Inferenz-Engine für Mobilgeräte, Wearables, Smart Home und Roboter.

Standardisierte, verteilte generative und prädiktive KI-Inferenzplattform für skalierbare Bereitstellungen mit mehreren Frameworks auf Kubernetes

⚡ Rein in Rust geschriebene WebGPU-Inferenz-Engine — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.

Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte GPU-Instanzen mit SSH-Zugang.

Lemonade hilft Benutzern dabei, lokale KI-Apps zu entdecken und auszuführen, indem optimierte LLMs direkt von ihren eigenen GPUs und NPUs bereitgestellt werden. Treten Sie unserem Discord bei: https://discord.gg/5xXzkMu8Zk

📚 Eine kuratierte Liste fantastischer LLM/VLM-Inferenz-Papers mit Code: Flash-Attention, Paged-Attention, WINT8/4, Parallelismus usw. 🎉

Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und Agents.

Eko (Eko Keeps Operating) – Erstellen Sie produktionsreife agentenbasierte Workflows mit natürlicher Sprache – eko.fellou.ai

RuVector ist eine in Rust geschriebene Hochleistungs-, Echtzeit-, selbstlernende KI, ein Vektor-GNN und eine In-Memory-Datenbank.

Optimierung des Inferenz-Proxys für LLMs

Generative KI-Referenz-Workflows, optimiert für beschleunigte Infrastruktur und Mikroservice-Architektur.

Multi-LoRA-Inferenzserver, der auf Tausende von feinabgestimmten LLMs skaliert

Eine Sammlung wissenschaftlicher Methoden, Prozesse, Algorithmen und Systeme zum Erstellen von Geschichten und Modellen.

Fügen Sie Ihrer operativen Datenbank einen Echtzeit-Analyse-Knoten hinzu. Spice ist eine portable, beschleunigte SQL-Abfrage-, Such- und LLM-Inferenz-Engine in Rust für datengestützte KI-Apps und Agenten.