mbzuai-oryx

Awesome Reasoning LLM Tutorial/Survey/Guide

[ACL 2024 🔥] Video-ChatGPT ist ein Video-Konversationsmodell, das sinnvolle Gespräche über Videos generieren kann. Es kombiniert die Fähigkeiten von LLMs mit einem vortrainierten visuellen Encoder, der für die spatiotemporale Videorepräsentation angepasst ist. Wir stellen außerdem ein rigoroses 'Quantitative Evaluation Benchmarking' für videobasierte Konversationsmodelle vor.

[CVPR 2024 🔥] Grounding Large Multimodal Model (GLaMM), das weltweit erste Modell, das natürlichsprachliche Antworten generieren kann, die nahtlos in Objektdegmentierungsmasken integriert sind.

🔥🔥 LLaVA++: Erweiterung von LLaVA mit Phi-3 und LLaMA-3 (LLaVA LLaMA-3, LLaVA Phi-3)

[CVPR 2024 🔥] GeoChat, das erste Grounded Large Vision Language Model für die Erdbeobachtung

[ICLR-2025-SLLM Spotlight] MobiLlama: Ein für Edge-Geräte optimiertes Small Language Model.

[BIONLP@ACL 2024] XrayGPT: Zusammenfassung von Röntgenaufnahmen des Brustkorbs mittels medizinischer Vision-Language-Modelle.