mllm

Groß angelegtes selbstüberwachtes Vortraining über Aufgaben, Sprachen und Modalitäten hinweg

Agent S: ein offenes agentenbasiertes Framework, das Computer wie ein Mensch bedient

Mobile-Agent: Die leistungsstarke GUI-Agenten-Familie

[NeurIPS 2025] SpatialLM: Training von Large Language Models für die strukturierte Innenraummodellierung

[CVPR'25] Offizielle Implementierungen für das Paper – MagicQuill: Ein intelligentes interaktives Bildbearbeitungssystem

Von Chain-of-Thought-Prompting bis zu OpenAI o1 und DeepSeek-R1 🍓

Code und Modelle für das ICML 2024-Paper, NExT-GPT: Any-to-Any Multimodal Large Language Model

Eagle: Vision-Language-Modelle der nächsten Generation mit datenzentrierten Strategien

InternLM-XComposer2.5-OmniLive: Ein umfassendes multimodales System für langfristige Streaming-Video- und Audio-Interaktionen

mPLUG-DocOwl: Ein modulares multimodales großes Sprachmodell zum Dokumentenverständnis

Cambrian-1 ist eine Familie multimodaler LLMs mit einem visionszentrierten Design.

🚀🚀🚀 Eine Sammlung großartiger öffentlicher YOLO-Objekterkennungsprojekte und zugehöriger Objekterkennungsdatensätze.

Offizielles Repository für die Pixel-LLM Codebasis: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1. Lösung für LSVOS)

[CVPR2026] Detect Anything via Next Point Prediction

Kuratierter visueller Katalog mit über 155 Vision-Language-Modell-Architekturen (VLM/MLLM): Paper, Diagramme, Trainingsrezepte, Datensätze und eine Release-Timeline für multimodale KI-Agenten.

Vollständig offenes Framework für demokratisiertes multimodales Training

Eine Familie leichter multimodaler Modelle.

OpenEMMA, eine freizügig lenzenzierte Open-Source-"Reproduktion" von Waymos EMMA-Modell.

NEO Series: Native Vision-Language-Modelle von Grund auf

[NeurIPS' 2025] JarvisArt: Befreiung der menschlichen künstlerischen Kreativität durch einen intelligenten Fotoretusche-Agenten

[CVPR2024] Der Code für „Osprey: Pixel Understanding with Visual Instruction Tuning“

[NeurIPS 2025 Spotlight] Offizielle Implementierung für „FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving“

[NeurIPS 2025] 4KAgent: Agentenbasiertes Any-Image-zu-4K-Super-Resolution. Ein intelligenter Computer-Vision-Agent, der jedes Bild auf magische Weise in perfektes 4K wiederherstellen kann!

🚀🚀🚀 Eine Sammlung großartiger öffentlicher Projekte zu Large Language Models (LLM), Vision Language Models (VLM), Vision Language Action (VLA), AI Generated Content (AIGC) sowie den zugehörigen Datensätzen und Anwendungen.

Ein Repository zur Auflistung von Publikationen über Scene Graph Generation und Anwendungen.

Persönliches Projekt: MPP-Qwen14B & MPP-Qwen-Next (Multimodale Pipeline-Parallelisierung basierend auf Qwen-LM). Unterstützt [Video/Bild/Multi-Bild] {SFT/Konversationen}. Lassen Sie sich nicht von Armut in Ihrer Vorstellungskraft einschränken! Trainieren Sie Ihr eigenes LLaVA-ähnliches MLLM (8B/14B) auf einer RTX3090/4090 mit 24 GB.

Vision als vereinheitlichte multimodale Generierung

✨✨Woodpecker: Korrektur von Halluzinationen bei multimodalen Large Language Models

[ICLR 2025] FakeShield: Erklärbare Erkennung und Lokalisierung von Bildfälschungen mittels multimodaler großer Sprachmodelle

Emotion-LLaMA: Multimodale Emotionserkennung und -analyse mit Instruction Tuning