multimodal-large-language-models

:sparkles::sparkles: Neueste Fortschritte bei multimodalen Large Language Models

Mobile-Agent: Die leistungsstarke GUI-Agenten-Familie

StarVector ist ein Basismodell zur SVG-Generierung, das Vektorisierung in eine Code-Generierungsaufgabe umwandelt. Unter Verwendung einer Vision-Language-Modellarchitektur verarbeitet StarVector sowohl visuelle als auch textuelle Eingaben, um qualitativ hochwertigen SVG-Code mit bemerkenswerter Präzision zu erzeugen.

LLaMA-Omni ist ein latenzarmes und qualitativ hochwertiges End-to-End-Sprachinteraktionsmodell auf Basis von Llama-3.1-8B-Instruct mit dem Ziel, Sprachfunktionen auf GPT-4o-Niveau zu erreichen.

Ein plattformübergreifendes Framework zur Videostrukturierung (Videoanalyse) basierend auf CV-Modellen und mLLMs.

✨✨[NeurIPS 2025] VITA-1.5: Auf dem Weg zu Echtzeit-Vision- und Sprachinteraktion auf GPT-4o-Niveau

mPLUG-DocOwl: Ein modulares multimodales großes Sprachmodell zum Dokumentenverständnis

Cambrian-1 ist eine Familie multimodaler LLMs mit einem visionszentrierten Design.

[ICML 2024] Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs (RPG)

Seed1.5-VL, ein Vision-Language-Grundlagenmodell für allgemeines multimodales Verständnis und Schließen, das bei 38 von 60 öffentlichen Benchmarks branchenführende Ergebnisse erzielt.

Eine neuartige Architektur für multimodale große Sprachmodelle (MLLM), die darauf ausgelegt ist, visuelle und textuelle Einbettungen strukturell auszurichten.

Awesome Unified Multimodal Models

Interaktiver digitaler Mensch in Echtzeit mit anpassbarem Erscheinungsbild und Stimme, Unterstützung für Stimmenklonen und einer Dialogverzögerung von nur 3 Sekunden.

PyTorch-Implementierung von Audio Flamingo: Eine Reihe fortgeschrittener Sprachmodelle zum Audioverständnis

Ein Framework für Sprach-, Audio-, Musik- und Textverarbeitung mit Large Language Models

Eine Familie leichter multimodaler Modelle.

Multimodal Chain-of-Thought Reasoning: Eine umfassende Übersicht

Eine Sammlung von Ressourcen zu Anwendungen des multimodalen Lernens in der medizinischen Bildgebung.

NEO Series: Native Vision-Language-Modelle von Grund auf

✨✨ [CVPR 2025] Video-MME: Der allererste umfassende Evaluierungsbenchmark für multimodale LLMs in der Videoanalyse

LLaVA-Plus: Große Sprach- und Bildassistenten, die sich einstecken lassen und lernen, Fähigkeiten zu nutzen

[CVPR 2024] MovieChat: Von dichten Token zu sparsamem Speicher für das Verständnis langer Videos

Visuelles Repräsentationsmodell im großen Maßstab

Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelisierung basierend auf Qwen-LM). Unterstützt [Video/Bild/Multi-Bild] {SFT/Konversationen}. Lassen Sie sich nicht von Armut in Ihrer Vorstellungskraft einschränken! Trainieren Sie Ihr eigenes LLaVA-ähnliches MLLM (8B/14B) auf einer RTX3090/4090 mit 24 GB.

OmniVinci ist ein omnimodales LLM für das gemeinsame Verständnis von Vision, Audio und Sprache.

✨✨Woodpecker: Korrektur von Halluzinationen bei multimodalen Large Language Models

(Akzeptiert bei IJCV) Liquid: Sprachmodelle sind skalierbare und einheitliche multimodale Generatoren

NeurIPS 2024 Paper: Ein einheitliches Pixel-basiertes Vision LLM für Verständnis, Generierung, Segmentierung und Bearbeitung

LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das die effiziente Analyse von Bildern, hochauflösenden Bildern und Videos unterstützt.

Cambrian-S: Auf dem Weg zur räumlichen Super-Sensorik in Videos