multimodal

Ein Vision-Toolkit und Skill für rein textbasierte LLMs – Bild-Frage-Antwort, OCR bei langen Screenshots, Frontend-UI-Wiederherstellung und GUI-Automatisierung mit optionaler nahtloser Integration für Codex, Claude Code, Pi, Oh My Pi und OpenCode

Das Self-Coding-System für Ihre App — Alan AI SDK für Cordova

MOVA: Auf dem Weg zu skalierbarer und synchronisierter Video-Audio-Generierung

SGLang-Omni ermöglicht hochleistungsfähiges Serving für TTS-, ASR-, Sprach- und Omni-Modelle.

Codebasis für Aria – ein Open Multimodal Native MoE

🩺 Das erste chinesische multimodale medizinische Modell zur Analyse von Thorax-Röntgenbildern | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.

Augen für rein textbasierte DeepSeek Harness Agents: integrierte kostenlose Vision-Chain (kein Schlüssel) + pixelgenaue Vision-Tools (Fragen & Antworten, Grounding, Zuschneiden, Pixel-Diff, Farben, OCR, SVG-Trace, Freistellen, Screenshots). Ein-Befehl-Installation, kein Python, Bildverarbeitung funktioniert wie normale Tool-Aufrufe.

[ICLR'24 Spotlight] Chinesische und englische multimodale Large-Model-Serie (Chat and Paint) | Basiert auf dem CPM-Basismodell für multimodale chinesisch-englische Großmodelle

Ein allgemeines Repräsentationsmodell über Bild-, Audio- und Sprachmodalitäten. Paper: ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities

[ECCV 2024 Best Paper Candidate & TPAMI 2025] PointLLM: Befähigung großer Sprachmodelle zum Verständnis von Punktwolken

Eine offizielle Implementierung für „CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval“

Multimodal Chain-of-Thought Reasoning: Eine umfassende Übersicht

TongFlow — Multimodales GenAI Studio

Ressourcen, Beispiele und Tutorials für multimodale KI, RAG und Agenten unter Verwendung von Vektorsuche und LLMs

Multimodales RL-Trainingsframework für Diffusions- und Omni-Modelle

RAG Time: Eine 5-wöchige Lernreise zur Beherrschung von RAG

Dieses Repository ist eine kuratierte Sammlung der spannendsten und einflussreichsten CVPR 2025 Paper. 🔥 [Paper + Code + Demo]

NEO Series: Native Vision-Language-Modelle von Grund auf

Code für „AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling“

⚡ Selbst hostbarer, YesCaptcha-kompatibler Captcha-Solver, entwickelt mit FastAPI, Playwright und OpenAI-kompatiblen multimodalen Modellen.

Eine einfache, einheitliche Trainings-Engine für multimodale Modelle. Schlank, flexibel und für skalierbares Hacking konzipiert.

[TMLR 2025🔥] Eine Übersicht über autoregressive Modelle in der Vision.

Bibliothek zur Unterstützung von NLP- und CV-Forschung zu wissenschaftlichen Arbeiten

Modelle kontrastiv trainieren in PyTorch

Lokales Monitoring + KI-Vision – Ein LAN-basiertes, Smartphone-gestütztes KI-Monitoring-Framework mit strukturiertem Event-Output für Datenerfassung und -analyse.

Eine Liste von Arbeiten zu multimodalen und großen Sprachmodellen, die ausschließlich dazu dient, gelesene Paper aus dem täglichen ArXiv für den Eigenbedarf zu dokumentieren.

[ECCV 2024] InstructIR: Hochwertige Bildwiederherstellung nach menschlichen Anweisungen https://huggingface.co/spaces/marcosv/InstructIR

Paddle Multimodal Integration and eXploration, unterstützt gängige multimodale Aufgaben, einschließlich End-to-End-Trainingsmodellen für große multimodale Daten und einer Diffusion-Model-Toolbox. Ausgezeichnet durch hohe Leistung und Flexibilität.

Eine Toolbox für multimodale Empfehlungen. Integriert über 10 Modelle...

Dieses Repository enthält den Code für „VLM2Vec / MMEB“ [ICLR 2025], „VLM2Vec-V2 / MMEB-V2“ [TMLR 2026] und „MMEB-V3“ [COLM 2026].