multimodal

✨✨ Neueste Papers und Benchmarks zum Reasoning mit Foundation Models

MOSS-Audio ist ein Open-Source-Grundlagenmodell für einheitliches Audioverständnis, das Sprache, Klänge, Musik, Beschriftung, Q&A und Reasoning in realen Szenarien ermöglicht.

Offizielle Implementierung von SEED-LLaMA (ICLR 2024).

Projektseite für „Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement“

👁️ + 💬 + 🎧 = 🤖 Kuratierte Liste der besten Foundation- und multimodalen Modelle! [Paper + Code + Beispiele + Tutorials]

Offizielle Implementierung für „Blended Latent Diffusion“ [SIGGRAPH 2023]

Second Brain ist ein agentenbasiertes Framework, das als Betriebssystem fungiert und lokale Dateiintelligenz, Workflow-Automatisierung sowie LLMs nutzt, um Aufgaben zu erledigen und über mehrere Modalitäten und Messaging-Plattformen zu kommunizieren.

Dieses Repository bietet Programme zum Erstellen von Retrieval-Augmented-Generation (RAG)-Code für generative KI mit LlamaIndex, Deep Lake und Pinecone unter Nutzung von OpenAI- und Hugging-Face-Modellen für Generierung und Evaluierung.

Erkunden Sie den multimodalen „Aha-Moment“ am 2B-Modell.

Hunyuan3D-Omni: Ein einheitliches Framework für die steuerbare Erstellung von 3D-Assets

An open-weight 11B model series for long-form and real-time video understanding

[ECCV 2024] Tokenize Anything via Prompting

Dieses Repository enthält Evaluierungscode für das Paper "MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI"

Eine asynchrone Reinforcement-Learning-Engine für skaliertes Omni-Modal Post-Training.

Offizielle Implementierung für „Blended Diffusion for Text-driven Editing of Natural Images“ [CVPR 2022].

[ECCV2024] Grounded Multimodal Large Language Model mit lokalisierter visueller Tokenisierung

Browser-Automatisierung erstellen, als würde man einen Menschen mit GPT-4 Vision anleiten.

RAI ist ein herstellerunabhängiges Agenten-Framework für physische KI-Robotik, das ROS 2-Tools für komplexe Aktionen, Szenarien, freie Schnittstellenausführung, Protokollzusammenfassungen und Sprachinteraktion nutzt.

Multimodales Routing, Geocodierung und Kartenelemente

LLaVA-Mini ist ein einheitliches großes multimodales Modell (LMM), das die effiziente Analyse von Bildern, hochauflösenden Bildern und Videos unterstützt.

Das selbstkodierende System für Ihre App – Alan AI SDK für React Native.

Ein multimodaler MCP-KI-Agent mit Augen und Ohren.

Plattform für Situated Intelligence

CLIP-Inferenz in reinem C/C++ ohne zusätzliche Abhängigkeiten

Flame ist ein Open-Source multimodales KI-System zur Umwandlung von UI-Design-Mockups in hochwertigen React-Code. Es nutzt Vision-Language-Modelle und automatisierte Workflows, um die Lücke zwischen Design und Frontend-Entwicklung zu schließen.

Eine zentrale Anlaufstelle für verschiedene branchenspezifische Schemata zur Verwendung mit VLMs.

Awesome Multimodal Modeling [Umfasst MLLM, UMM und NMM].

Offizieller Code für "EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model"