llama

Dieses Repository bietet Programme zum Erstellen von Retrieval-Augmented-Generation (RAG)-Code für generative KI mit LlamaIndex, Deep Lake und Pinecone unter Nutzung von OpenAI- und Hugging-Face-Modellen für Generierung und Evaluierung.

Einfaches und effizientes Finetuning von LLMs. (Unterstützt LLama, LLama2, LLama3, Qwen, Baichuan, GLM, Falcon)

kani (カニ) ist ein hochgradig anpassbares Mikroframework für Tool-Calling-Sprachmodelle. (NLP-OSS @ EMNLP 2023)

Sind Copilots schon lokal verfügbar? Die Grenze lokaler LLM-Copilots für Code-Vervollständigung, Projektgenerierung, Shell-Unterstützung und mehr. Entdecken Sie Tools, die die Entwicklererfahrung von morgen schon heute prägen!

Go mit eigener Intelligenz – Go-Anwendungen, die llama.cpp direkt für lokale Inferenz mittels Hardwarebeschleunigung integrieren.

Yet Another Language Model: LLM-Inferenz in C++/CUDA, ohne externe Bibliotheken außer für I/O.

Open-Source-lokales KI-SDK – Führen Sie KI geräteintern ohne Cloud, ohne API-Schlüssel aus. Unterstützt GGUF, RAG, Bild-, Musik- und Videoerstellung, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android, iOS.

Schneller Sprachassistent, angetrieben von Groq, Cartesia und Vercel.

[ECCV2024] Grounded Multimodal Large Language Model mit lokalisierter visueller Tokenisierung

Ein Deep-Learning-NLP-Repository mit TensorFlow, das von der Textvorverarbeitung bis hin zu Downstream-Tasks moderner Modelle wie Topic Models, BERT, GPT und LLMs reicht.

Lokaler KI-Assistent

LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das die effiziente Analyse von Bildern, hochauflösenden Bildern und Videos unterstützt.

Training und Inferenz leistungsstarker Satz-Embeddings mit AnglE – SOTA auf den STS- und MTEB-Bestenlisten.

Code Llama mit Visual Studio Code und der Continue-Erweiterung nutzen. Eine lokale LLM-Alternative zu GitHub Copilot.

Ein Framework für LLM-basiertes Multi-Agent Reinforced Training und Inference.

Chat Snowflake – Text-zu-SQL-Konvertierung

Open-Source-LLMs einfach feinabstimmen, erstellen und bereitstellen.

[ICML 2024] LESS: Auswahl einflussreicher Daten für gezieltes Instruction Tuning

KI-gestützter Assistent für tägliche Aufgaben, basierend auf Llama 3, DeepSeek R1 und weiteren Modellen von HuggingFace.

Ein reaktives CLI, das Commit-Nachrichten für Git und Jujutsu mithilfe von Ollama, ChatGPT, Gemini, Claude, Mistral und anderen KIs generiert.

Ihr lokaler künstlicher Speicher auf dem eigenen Gerät.

Eine Serving-Engine mit niedriger Latenz und hohem Durchsatz für LLMs

[ACL 2024] Progressive LLaMA mit Block-Erweiterung.

RESTai ist eine Open-Source-Plattform für AIaaS (AI as a Service). Unterstützt zahlreiche öffentliche und lokale LLMs via Ollama/vLLM/etc. Bietet präzise Embeddings, Tuning, Analysen sowie integrierte Bild-/Audiogenerierung mit dynamisch ladbaren Generatoren, Live-Chat-Bereitstellung, eine blockbasierte grafische Sprache, Prompt-Versionierung und mehr.

Open-Source, lokaler und selbst gehosteter, hochoptimierter Sprachinferenz-Server mit Unterstützung für ASR/STT, TTS und LLM über WebRTC, REST und WS.

🚀🚀🚀 Dieses Repository listet herausragende öffentliche Projekte zu CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX und High Performance Computing (HPC).

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton