vision-language-model

Die Implementierung von „Prismer: A Vision-Language Model with Multi-Task Experts“.

Vollständig offenes Framework für demokratisiertes multimodales Training

Diese Reihe nimmt Sie mit auf eine Reise von den Grundlagen der NLP und Computer Vision bis hin zu den neuesten Vision-Language-Modellen.

Konvertieren Sie Dokumente mit visueller Erkennung in KI-ready Markdown

Ein Vision-Toolkit und Skill für rein textbasierte LLMs – Bild-Frage-Antwort, OCR bei langen Screenshots, Frontend-UI-Wiederherstellung und GUI-Automatisierung mit optionaler nahtloser Integration für Codex, Claude Code, Pi, Oh My Pi und OpenCode

Parsing-freies RAG, unterstützt durch VLMs

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM), das weltweit erste Modell, das natürlichsprachliche Antworten generieren kann, die nahtlos in Objektdegmentierungsmasken integriert sind.

[CVPR 2024 Highlight🔥] Chat-UniVi: Unified Visual Representation Empowers Large Language Models with Image and Video Understanding

Dieses Repository ist eine kuratierte Sammlung der spannendsten und einflussreichsten CVPR 2025 Paper. 🔥 [Paper + Code + Demo]

[CVPR 2024] Alpha-CLIP: Ein CLIP-Modell, das sich auf beliebige Bereiche konzentriert

DeepSeek-Harness-native Integration für agent-vision-toolkit: Bild-Q&A, Long-Screenshot-OCR, UI-Wiederherstellung, Grounding, Pixel-Diff, Artifacts und Web-UI.

VoxPoser: Kombinierbare 3D-Wertkarten für die Robotermanipulation mit Sprachmodellen

[NeurIPS 2025 Spotlight] OpenCUA: Open Foundations für Computer-Use Agents

🍃 MINT-1T: Ein multimodaler, verschränkter Datensatz mit einer Billion Token.

Eine kuratierte Liste von 3D-Vision-Papern mit Bezug zur Robotik im Zeitalter großer Modelle wie LLMs/VLMs, inspiriert von awesome-computer-vision, einschließlich Papers, Codes und zugehörigen Websites

Eine kuratierte Liste fantastischer Prompt-/Adapter-Lernmethoden für Vision-Language-Modelle wie CLIP.

[ICLR 2026] Die offizielle Implementierung von „Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model“

OmniVinci ist ein omnimodales LLM für das gemeinsame Verständnis von Vision, Audio und Sprache.

MiMo-VL

PILOT: Eine Toolbox für vortrainiertes, modellbasiertes kontinuierliches Lernen.

Evaluierung von Text-zu-Bild/Video/3D-Modellen mit VQAScore.

[CVPR 2026] SpatialVID: Ein umfangreicher Video-Datensatz mit räumlichen Annotationen.

An open-weight 11B model series for long-form and real-time video understanding

[ECCV2024] Grounded Multimodal Large Language Model mit lokalisierter visueller Tokenisierung

LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das die effiziente Analyse von Bildern, hochauflösenden Bildern und Videos unterstützt.

Cambrian-S: Auf dem Weg zur räumlichen Super-Sensorik in Videos

Chatbot Arena trifft auf Multimodalität! Multi-Modality Arena ermöglicht es, Vision-Language-Modelle nebeneinander zu benchmarken, während Bilder als Eingaben bereitgestellt werden. Unterstützt MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 und viele weitere!

Flame ist ein Open-Source multimodales KI-System zur Umwandlung von UI-Design-Mockups in hochwertigen React-Code. Es nutzt Vision-Language-Modelle und automatisierte Workflows, um die Lücke zwischen Design und Frontend-Entwicklung zu schließen.

Code und Implementierungsrichtlinien für das Paper Counting Anything. Projektseite: https://mengqi-lei.github.io/count-anything-projectpage/