vision-language-model

[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) in Richtung GPT-4V-Niveaufähigkeiten und darüber hinaus gebaut.

X-AnyLabeling: Eine leichte, effiziente und einheitliche plattformübergreifende Desktop-Anwendung zur Annotation von Text-, Bild-, Video- und multimodalen Daten, die vielseitige integrierte Tools mit modernen KI-Modellen und flexiblem Multi-Format-Export kombiniert.

[CVPR 2024 Oral] InternVL Family: Eine bahnbrechende Open-Source-Alternative zu GPT-4o. Ein Open-Source-Multimodal-Dialogmodell, das der Leistung von GPT-4o nahekommt.

👀 Trainieren Sie ein VLM mit 65 Millionen Parametern von Grund auf in nur 2 Stunden!

Das offizielle Repository von Qwen-VL (通义千问-VL), einem von Alibaba Cloud vorgeschlagenen Chat- und vortrainierten Large Vision Language Model.

MineContext ist Ihr proaktiver, kontextbewusster KI-Partner (Context-Engineering + ChatGPT Pulse)

MLX-VLM ist ein Paket für Inferenz und Fine-Tuning von Vision Language Models (VLMs) auf dem Mac mit MLX.

Align Anything: Training von Multimodus-Modellen mit Feedback

All-in-One Multimodales Evaluierungs-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

DeepSeek-VL: Auf dem Weg zum realen Vision-Language-Verständnis

Das offizielle Repository von MiniMax-Text-01 und MiniMax-VL-01, Large Language Model & Vision Language Model basierend auf Linear Attention

Offizielles Repo für „Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models“

Sammlung von fantastischen Vision-Language-Modellen für visuelle Aufgaben.

Das Schweizer Taschenmesser für Offline-KI. Chatten, sehen, sprechen und Bilder generieren auf deinem Smartphone oder Mac – GGUF-LLMs, Vision, Whisper-Sprache-zu-Text, Stable Diffusion, Tool-Aufrufe und lokale Netzwerkserver. Läuft auf CPU, GPU oder NPU. Kein Konto, kein API-Key, null Daten verlassen dein Gerät.

InternLM-XComposer2.5-OmniLive: Ein umfassendes multimodales System für langfristige Streaming-Video- und Audio-Interaktionen

Der Code, der zum Trainieren und Ausführen von Inferenz mit den ColVision-Modellen (z. B. ColPali, ColQwen2 und ColSmol) verwendet wird.

Das Cradle-Framework ist ein erster Versuch einer allgemeinen Computersteuerung (GCC). Cradle unterstützt Agents dabei, jede Computeraufgabe durch starke Argumentationsfähigkeiten, Selbstverbesserung und Skill-Kuratierung in einer standardisierten allgemeinen Umgebung mit minimalen Anforderungen zu meistern.

Eine Open-Source-Implementierung zum Fine-Tuning der Qwen-VL-Serie von Alibaba Cloud.

[CVPR 2025] Open-Source, End-to-End, Vision-Language-Action-Modell für GUI-Agenten und Computer-Nutzung.

Eine kuratierte Liste großartiger Ressourcen zu LLM/VLM/VLA/Modellen für das autonome Fahren (LLM4AD) (kontinuierlich aktualisiert)

NVIDIA AI Blueprint für Video-Suche und -Zusammenfassung (VSS) ist eine GPU-beschleunigte Referenzarchitektur zum Erstellen von Video-Analytik-Agenten mit verifizierten Echtzeit-Benachrichtigungen, visueller Q&A und automatisierter Berichterstellung. Der VSS Blueprint verwendet Vision Language Models (VLMs) wie NVIDIA Cosmos, LLMs wie NVIDIA Nemotron, RAG und NVIDIA NIMs.

Eine Sammlung originaler, innovativer Ideen und Algorithmen für Advanced Literate Machinery. Dieses Projekt wird vom OCR-Team im Language Technology Lab, Tongyi Lab der Alibaba Group gepflegt.

Seed1.5-VL, ein Vision-Language-Grundlagenmodell für allgemeines multimodales Verständnis und Schließen, das bei 38 von 60 öffentlichen Benchmarks branchenführende Ergebnisse erzielt.

Leistungsstarker, mit OpenAI und Anthropic kompatibler LLM-Inferenzserver für Apple Silicon. Nativer MLX, Continuous Batching, multimodale Modelle, MCP-Tool-Aufrufe und Claude-Code-Unterstützung.

Erhalte saubere Daten aus schwierigen Dokumenten, unterstützt durch Vision-Language-Modelle ⚡

[ICCV 2025] Implementierung für Describe Anything: Detaillierte lokalisierte Bild- und Video-Beschriftung

Eine neuartige Architektur für multimodale große Sprachmodelle (MLLM), die darauf ausgelegt ist, visuelle und textuelle Einbettungen strukturell auszurichten.

Übersicht japanischer LLMs

Fine-Tuning von LLMs auf Ihrem Mac mit Apple Silicon. SFT-, DPO-, GRPO-, Vision-, TTS-, STT-, Embedding- und OCR-Fine-Tuning – nativ auf MLX. Unsloth-kompatible API.

Awesome Unified Multimodal Models