multimodal

Plug-and-Play-Implementierung von Tree of Thoughts: Gezielte Problemlösung mit Large Language Models, die das logische Denken des Modells um mindestens 70 % steigert

Kuratierte Tutorials und Ressourcen für Large Language Models, AI Painting und mehr.

Große Mengen von Bild-URLs einfach in einen Bilddatensatz umwandeln. Kann 100 Millionen URLs auf einer Maschine in 20 Stunden herunterladen, skalieren und verpacken.

All-in-One Multimodales Evaluierungs-Toolkit für Text-, Bild-, Video- und Audio-Aufgaben

Fengshenbang-LM ist ein Open-Source-Großmodell-Ökosystem unter Leitung des Zentrums für kognitive Berechnung und natürliche Sprache des IDEA Research Institute und dient als Infrastruktur für chinesisches AIGC und kognitive Intelligenz.

Die MOSS‑TTS-Familie ist eine Open-Source-Modellfamilie zur Sprach- und Klangerzeugung von MOSI.AI und dem OpenMOSS-Team. Sie wurde für Szenarien in der realen Welt mit hoher Wiedergabetreue, starkem Ausdruck und hoher Komplexität entwickelt und deckt stabile Langform-Sprache, Dialoge mit mehreren Sprechern, Sprach-/Charakterdesign, Umgebungs-Soundeffekte und Echtzeit-Streaming-TTS ab.

OpenMMLab Pre-training Toolbox und Benchmark

Das erste Vision-Plugin für DeepSeek Harness und die Vision-Brücke für jeden reinen Text-Coding-Agenten. Bild einfügen, strukturierte JSON-Beweise erhalten (OCR, Layout, Semantik).

SimpleMem: Effizientes, lebenslanges Gedächtnis für LLM-Agenten – Text & Multimodal

Open-Source-Multimodal-Retrieval-Engine (Morphik Core). Von Morphik – KI-Back-Office für Pflegeheime und Seniorenresidenzen (morphik.ai).

Von Chain-of-Thought-Prompting bis zu OpenAI o1 und DeepSeek-R1 🍓

Code und Modelle für das ICML 2024-Paper, NExT-GPT: Any-to-Any Multimodal Large Language Model

MTEB: State-of-the-Art-Evaluierung von Embeddings über Sprachen und Modalitäten hinweg

InternGPT (iGPT) ist eine Open-Source-Demoplattform zur einfachen Präsentation von KI-Modellen. Unterstützt nun DragGAN, ChatGPT, ImageBind, multimodalen Chat wie GPT-4, SAM, interaktive Bildbearbeitung und mehr. Testen Sie es unter igpt.opengvlab.com

Ein erweiterbares, hochmodernes Framework für spaltenbasierte Komprimierung und das schnellste FOSS-Spaltendateiformat. Ehemals bei @spiraldb, jetzt ein Inkubationsprojekt bei LFAI&Data, einem Teil der Linux Foundation.

Grundlagen-Architektur für (M)LLMs

Repräsentieren, Senden, Speichern und Durchsuchen multimodaler Daten

[NeurIPS 2024] OSWorld: Benchmarking multimodaler Agents für offene Aufgaben in echten Computerumgebungen

🤖 Typsicheres, providerunabhängiges TypeScript AI SDK für Streaming-Chat, Tool-Aufrufe, Agenten und multimodale Apps über OpenAI, Anthropic, Gemini, React, Vue, Svelte und Solid.

InternLM-XComposer2.5-OmniLive: Ein umfassendes multimodales System für langfristige Streaming-Video- und Audio-Interaktionen

Die Kontextschicht für unstrukturierte Daten: typisierte, versionierte Datensätze über S3, GCS, Azure

Einfaches Berechnen von Clip-Einbettungen und Erstellen eines Clip-Abrufsystems damit.

Bilder für die Inferenz ohne Kennzeichnung (Nutzung von Foundation Models zum Trainieren überwachter Modelle).

Optimierung des Fine-Tuning-Prozesses für multimodale Modelle: PaliGemma 2, Florence-2 und Qwen2.5-VL

[EMNLP-2024] Erstellen Sie multimodale Sprachagenten für schnelles Prototyping und Produktion

Umfassende Ressourcen zu Generative AI, einschließlich einer detaillierten Roadmap, Projekten, Anwendungsfällen, Interviewvorbereitung und Programmiervorbereitung.

Offizielles Repository von OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

mPLUG-Owl: Die leistungsstarke Familie multimodaler Large Language Models

HuixiangDou: Bewältigung von Gruppenchatszenarien mit LLM-basierter technischer Unterstützung.

(ෆ`꒳´ෆ) Eine Übersicht über Text-zu-Bild-Generierung und -Synthese.