vlm

🤗 Transformers: das Framework zur Modelldefinition für state-of-the-art Machine Learning Modelle in Text, Vision, Audio und multimodale Modelle, sowohl für Inferenz als auch für Training.

Der Open-Source Multimodal AI Agent Stack: Verbindet modernste KI-Modelle und Agenten-Infrastruktur

SGLang ist ein hochleistungsfähiges Serving‑Framework für große Sprach‑ und multimodale Modelle.

Produktionsbereites Toolkit zum lokalen Ausführen von KI

Das Ende des Web-Parsings. Der Beginn der skalierbaren, pixel-nativen Suche. Link: https://pixelrag.ai/

Eine Sammlung von Tutorials zu modernen Computer-Vision-Modellen und -Techniken. Entdecke alles von grundlegenden Architekturen wie ResNet bis hin zu modernsten Modellen wie RF-DETR, YOLO11, SAM 3 und Qwen3-VL.

Bücher, Arbeiten, Videos und Toolkits rund um Anomalieerkennung. Letztes Update Ende 2025 für LLM- und VLM-Arbeiten!

Führe moderne LLMs und VLMs lokal auf Qualcomm-Geräten über NPU, GPU und CPU mit wenigen Zeilen Code aus.

Das offizielle Repository für ERNIE 4.5 und ERNIEKit – dessen industrietaugliches Entwicklungstoolkit auf Basis von PaddlePaddle.

Visuelles Verstehen mit RL-basierten VLMs lösen

Ein Low-Code-MCP-Framework zum Erstellen komplexer und innovativer RAG-Pipelines

🌟 Über 100 originale LLM- und RL-Prinzipschemata 📚, präsentiert vom Autor von „Large Model Algorithms“! 💥

StarVector ist ein Basismodell zur SVG-Generierung, das Vektorisierung in eine Code-Generierungsaufgabe umwandelt. Unter Verwendung einer Vision-Language-Modellarchitektur verarbeitet StarVector sowohl visuelle als auch textuelle Eingaben, um qualitativ hochwertigen SVG-Code mit bemerkenswerter Präzision zu erzeugen.

All-in-One Multimodales Evaluierungs-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

[CVPR 2026] PromptEnhancer ist ein Tool zum Umschreiben von Prompts, das Prompts in klarere, strukturiertere Versionen verfeinert, um eine bessere Bildgenerierung zu ermöglichen.

Das offizielle Repository von MiniMax-Text-01 und MiniMax-VL-01, Large Language Model & Vision Language Model basierend auf Linear Attention

Ein schlankes und anpassbares Framework für die effiziente Evaluierung und Leistungsbenchmarking großer Modelle (LLM, VLM, AIGC).

Ein KI-gestütztes Dateiverwaltungstool, das die Privatsphäre durch die Organisation lokaler Texte und Bilder gewährleistet. Es nutzt Llama3.2 3B- und Llava v1.6-Modelle mit dem Nexa SDK, um Dateien intuitiv zu scannen, zu restrukturieren und für schnellen, reibungslosen Zugriff zu organisieren.

Skywork-R1V ist eine von Skywork AI entwickelte, fortschrittliche multimodale KI-Modellserie, die auf Vision-Language-Reasoning spezialisiert ist.

[NeurIPS 2024] OSWorld: Benchmarking multimodaler Agents für offene Aufgaben in echten Computerumgebungen

Open-Source-KI-Kamera-Fähigkeitenplattform, KI-NVR & CCTV-Überwachung. Lokale VLM-Videoanalyse mit Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. KI-gestützter Agenten-Sicherheitskamera-Agent – überwacht, versteht, erinnert sich und schützt Ihr Zuhause über Telegram, Discord oder Slack. Erweiterbare KI-Fähigkeiten. OpenAI, Google, Anthropic oder lokale KI. Läuft auf Mac Mini & AI-PCs.

[EMNLP-2024] Erstellen Sie multimodale Sprachagenten für schnelles Prototyping und Produktion

Das Cradle-Framework ist ein erster Versuch einer allgemeinen Computersteuerung (GCC). Cradle unterstützt Agents dabei, jede Computeraufgabe durch starke Argumentationsfähigkeiten, Selbstverbesserung und Skill-Kuratierung in einer standardisierten allgemeinen Umgebung mit minimalen Anforderungen zu meistern.

GLM-4.6V/4.5V/4.1V-Thinking: Auf dem Weg zu vielseitigem multimodalem Schließen mit skalierbarem Reinforcement Learning

LLM-Agenten-Framework in ComfyUI, das MCP-Server, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 und FLUX-Prompt-Knoten enthält, Zugriff auf Feishu und Discord bietet und sich an alle LLMs mit ähnlichen OpenAI-/Aisuite-Schnittstellen anpasst, wie z. B. o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Angepasst an lokale LLMs, VLM, GGUF wie llama-3.3 Janus-Pro, Linkage graphRAG

Open-Source-Implementierung und Erweiterung von Google Researchs PaperBanana für automatisierte wissenschaftliche Abbildungen, Diagramme und Forschungsvisualisierungen, erweitert auf neue Bereiche wie die Folienerstellung.

End-to-End-Protokoll-Replay-Toolkit für das ChatGPT Plus/Team/Pro-Abonnement mit von Grund auf neu entwickeltem hCaptcha-Solver und empirischer Betrugsbekämpfungsforschung

TokenSpeed ist eine lichtschnelle LLM-Inferenz-Engine.

Eine Leseliste zur Sicherheit, dem Schutz und der Privatsphäre großer Modelle (einschließlich Awesome LLM Security, Safety usw.).

Eine Open-Source-Implementierung zum Fine-Tuning der Qwen-VL-Serie von Alibaba Cloud.