mllm

ComfyUI-Knoten für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Plus Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, Video-Temporal-Reasoning, GGUF über llama.cpp und gehostete LLM/VLM-APIs.

[ICLR2026] Offizielle Implementierung für "JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation".

[ECCV2024] Grounded Multimodal Large Language Model mit lokalisierter visueller Tokenisierung

NeurIPS 2024 Paper: Ein einheitliches Pixel-basiertes Vision LLM für Verständnis, Generierung, Segmentierung und Bearbeitung

Eine kuratierte Liste von Forschungsarbeiten zur LLM-basierten multimodalen Generierung (Bild, Video, 3D und Audio).

Awesome Multimodal Modeling [Umfasst MLLM, UMM und NMM].