multimodality

Das Cradle-Framework ist ein erster Versuch einer allgemeinen Computersteuerung (GCC). Cradle unterstützt Agents dabei, jede Computeraufgabe durch starke Argumentationsfähigkeiten, Selbstverbesserung und Skill-Kuratierung in einer standardisierten allgemeinen Umgebung mit minimalen Anforderungen zu meistern.

Sammlung großartiger RAG-Paper für AIGC. Wir schlagen eine Taxonomie der RAG-Grundlagen, -Erweiterungen und -Anwendungen im Paper „Retrieval-Augmented Generation for AI-Generated Content: A Survey“ vor.

Eine neuartige Architektur für multimodale große Sprachmodelle (MLLM), die darauf ausgelegt ist, visuelle und textuelle Einbettungen strukturell auszurichten.

Ein Vergleichs-Framework für multimodale Empfehlungssysteme

Eine offizielle Implementierung für „CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval“

Automatisiertes Modellierungs- und Machine-Learning-Framework FEDOT.

LLM2CLIP verbessert bestehende State-of-the-Art CLIP-Modelle signifikant.

✨✨Woodpecker: Korrektur von Halluzinationen bei multimodalen Large Language Models

Dieses Repository enthält Evaluierungscode für das Paper "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

(ECCVW 2025) GPT4RoI: Instruction-Tuning für Large Language Models auf Region-of-Interest

Eine kuratierte Liste von Forschungsarbeiten zur LLM-basierten multimodalen Generierung (Bild, Video, 3D und Audio).