llava

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) in Richtung GPT-4V-Niveaufähigkeiten und darüber hinaus gebaut.

SUPIR zielt auf die Entwicklung praktischer Algorithmen zur fotorealistischen Bildwiederherstellung in freier Wildbahn ab. Unsere neue Online-Demo ist ebenfalls auf suppixel.ai verfügbar.

MLX-VLM ist ein Paket für Inferenz und Fine-Tuning von Vision Language Models (VLMs) auf dem Mac mit MLX.

Open-Source-Evaluierungs-Toolkit für Large Multi-Modality Models (LMMs), unterstützt über 220 LMMs und 80+ Benchmarks

Chinesische NLP-Lösungen (große Sprachmodelle, Daten, Modelle, Training, Inferenz)

Eine C#/.NET-Bibliothek zum effizienten Ausführen von LLMs (🦙LLaMA/LLaVA) auf Ihrem lokalen Gerät.

Eagle: Vision-Language-Modelle der nächsten Generation mit datenzentrierten Strategien

[EMNLP-2024] Erstellen Sie multimodale Sprachagenten für schnelles Prototyping und Produktion

[ACL 2024 🔥] Video-ChatGPT ist ein Video-Konversationsmodell, das sinnvolle Gespräche über Videos generieren kann. Es kombiniert die Fähigkeiten von LLMs mit einem vortrainierten visuellen Encoder, der für die spatiotemporale Videorepräsentation angepasst ist. Wir stellen außerdem ein rigoroses 'Quantitative Evaluation Benchmarking' für videobasierte Konversationsmodelle vor.

Tag-Manager und Bildbeschrifter für Bilddatensätze

Taschengroße multimodale KI für Inhaltsverständnis und -generierung über mehrsprachige Texte, Bilder und 🔜 Videos, bis zu 5x schneller als OpenAI CLIP und LLaVA 🖼️ & 🖋️

Vollständig offenes Framework für demokratisiertes multimodales Training

Ein Framework für kleine, große multimodale Modelle

🔥🔥 LLaVA++: Erweiterung von LLaVA mit Phi-3 und LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3)

Videoüberwachungssystem basierend auf OpenCV, YOLO und LLAVA

Paddle Multimodal Integration and eXploration, unterstützt gängige multimodale Aufgaben, einschließlich End-to-End-Trainingsmodellen für große multimodale Daten und einer Diffusion-Model-Toolbox. Ausgezeichnet durch hohe Leistung und Flexibilität.

Eine umfassende Frontend-Sammlung und Übersicht von Vision-Language-Model-Papern und -Modellen auf GitHub. Kontinuierliche Updates.

👁️ + 💬 + 🎧 = 🤖 Kuratierte Liste der besten Foundation- und multimodalen Modelle! [Paper + Code + Beispiele + Tutorials]

ComfyUI-Knoten für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Plus Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, Video-Temporal-Reasoning, GGUF über llama.cpp und gehostete LLM/VLM-APIs.

LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das die effiziente Analyse von Bildern, hochauflösenden Bildern und Videos unterstützt.

KI-gestützter Assistent für tägliche Aufgaben, basierend auf Llama 3, DeepSeek R1 und weiteren Modellen von HuggingFace.