llama2

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) in Richtung GPT-4V-Niveaufähigkeiten und darüber hinaus gebaut.

Willkommen beim Llama Cookbook! Ihr Standard-Leitfaden für die Entwicklung mit Llama: Erste Schritte mit Inferenz, Fine-Tuning und RAG. Wir zeigen Ihnen auch, wie Sie End-to-End-Probleme mit der Llama-Modellfamilie lösen und diese bei verschiedenen Anbieterdiensten nutzen.

Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.

Low-Code-Framework zum Erstellen benutzerdefinierter LLMs, neuronaler Netze und anderer KI-Modelle.

Ein selbst gehosteter, offlinefähiger Chatbot im ChatGPT-Stil. Unterstützt durch Llama 2. 100 % privat, es verlässt kein Daten Ihr Gerät. Neu: Code Llama-Unterstützung!

LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Ausführen von LLMs.

OpenCompass ist eine LLM-Evaluierungsplattform, die eine Vielzahl von Modellen (Llama3, Mistral, InternLM2, GPT-4, LLaMa2, Qwen, GLM, Claude usw.) auf über 100 Datensätzen unterstützt.

Chinesisches LLaMA-2 & Alpaca-2 LLM Phase-2-Projekt + 64K-Langkontextmodell (Chinese LLaMA-2 & Alpaca-2 LLMs mit 64K-Langkontextmodellen)

Firefly: Ein Tool zum Trainieren großer Sprachmodelle (LLMs), das das Training von Qwen2.5, Qwen2, Yi1.5, Phi-3, Llama3, Gemma, MiniCPM, Yi, Deepseek, Orion, Xverse, Mixtral-8x7B, Zephyr, Mistral, Baichuan2, Llama2, Llama, Qwen, Baichuan, ChatGLM2, InternLM, Ziya2, Vicuna, Bloom und weiteren LLMs unterstützt.

Enchanted ist eine iOS- und macOS-App zum Chatten mit privaten, selbst gehosteten Sprachmodellen wie Llama2, Mistral oder Vicuna über Ollama.

H2O LLM Studio – Ein Framework und eine No-Code-GUI zum Fine-Tuning von LLMs. Dokumentation: https://docs.h2o.ai/h2o-llmstudio/

Llama3 – Post-Training-Version für Chinesisch

Fehlertolerante, hochskalierbare GPU-Orchestrierung und ein Machine-Learning-Framework für das Training von Modellen mit Milliarden bis Billionen von Parametern

Eine Reihe von Large Language Models, entwickelt von Baichuan Intelligent Technology

Chinesische NLP-Lösungen (große Sprachmodelle, Daten, Modelle, Training, Inferenz)

Eine C#/.NET-Bibliothek zum effizienten Ausführen von LLMs (🦙LLaMA/LLaVA) auf Ihrem lokalen Gerät.

Verteilte LLM-Inferenz. Verbinden Sie Heimgeräte zu einem leistungsstarken Cluster, um die LLM-Inferenz zu beschleunigen. Mehr Geräte bedeuten eine schnellere Inferenz.

Verbessert die Tesseract-OCR-Ausgabe mithilfe von LLMs (lokal oder API) zur Fehlerkorrektur, intelligenten Aufteilung und Markdown-Formatierung von gescannten PDFs.

LLM-Finetuning mit peft

Vollständig autonomer KI-Agent, der komplizierte Aufgaben und Projekte über Terminal, Browser und Editor ausführen kann.

OpenAI-kompatible API für offene große Sprachmodelle, Nutzung von LLMs wie ChatGPT! Unterstützung für LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3 usw.

Eine einfache, performante und skalierbare Jax LLM!

TigerBot: Ein mehrsprachiges Multitask-LLM

Inferenz für Llama 2 in einer einzigen Datei aus purem 🔥

Aila (AI Hyperverse): Das führende KI-Integrationstool für Windows, macOS und Android. Einmal fragen, Antworten von über 10 KIs wie ChatGPT, Gemini, Claude 3, Copilot, Poe, Perplexity und mehr erhalten. Bietet anpassbare KI und Prompts.

Führe Llama 2 lokal mit einer Gradio UI auf GPU oder CPU von überall aus (Linux/Windows/Mac) aus. Nutze `llama2-wrapper` als lokales Llama2-Backend für generative Agents/Apps.

[ICML 2024] LLMCompiler: Ein LLM-Compiler für paralleles Funktionsaufrufen

Ein umfassender Leitfaden zur Entwicklung von RAG-basierten LLM-Anwendungen für die Produktion.

Berechnet Token/s und GPU-Speicherbedarf für beliebige LLMs. Unterstützt llama.cpp/ggml/bnb/QLoRA-Quantisierung.

LangChain- und Prompt-Engineering-Tutorials zu Large Language Models (LLMs) wie ChatGPT mit benutzerdefinierten Daten. Jupyter Notebooks zum Laden und Indizieren von Daten, Erstellen von Prompt-Templates, CSV-Agenten und Verwenden von Retrieval-QA-Chains zur Abfrage der benutzerdefinierten Daten. Projekte zur Nutzung eines privaten LLM (Llama 2) für Chats mit PDF-Dateien und Tweet-Stimmungsanalyse.