text-to-audio

Amphion (/æmˈfaɪən/) ist ein Toolkit zur Audio-, Musik- und Sprachgenerierung. Sein Zweck ist es, reproduzierbare Forschung zu unterstützen und jüngeren Forschern sowie Ingenieuren den Einstieg in die Forschung und Entwicklung zur Audio-, Musik- und Sprachgenerierung zu erleichtern.

Erstelle Hörbücher aus EPUBs, PDFs und Text mit synchronisierten Untertiteln.

[CVPR 2025] MMAudio: Zähmung des multimodalen gemeinsamen Trainings für die hochwertige Video-zu-Audio-Synthese

[NeurIPS 2025] PyTorch-Implementierung von [ThinkSound], einem einheitlichen Framework zur Audiogenerierung aus beliebigen Modalitäten, gesteuert durch Chain-of-Thought (CoT)-Reasoning.

StreamSpeech ist ein All-in-One-Modell für nahtlose Offline- und Simultanspracherkennung, -sprachübersetzung und -sprachsynthese.

Ein Web-UI für verschiedene audiorelevante neuronale Netze

Eine Familie von Diffusionsmodellen zur Generierung von Text zu Audio.

HunyuanVideo-Foley: Multimodale Diffusion mit Repräsentationsausrichtung zur treuen Foley-Audioerzeugung.

[ICLR 2026] TangoFlux: Super schnelle und treue Text-zu-Audio-Generierung mit Flow Matching

PyTorch-Implementierung von Make-An-Audio (ICML'23) mit einem Text-to-Audio Generative Model

OpenMusic: SOTA Text-to-Music (TTM) Generierung

Eine kuratierte Liste von Forschungsarbeiten zur LLM-basierten multimodalen Generierung (Bild, Video, 3D und Audio).

Ein Open-Source-Projekt zur Vereinheitlichung von Audioverarbeitung und -generierung