text-to-audio

Amphion (/æmˈfaɪən/) é um kit de ferramentas para geração de áudio, música e fala. Seu objetivo é apoiar pesquisas reprodutíveis e ajudar pesquisadores e engenheiros iniciantes a começar na área de pesquisa e desenvolvimento de geração de áudio, música e fala.

Gere audiolivros a partir de EPUBs, PDFs e textos com legendas sincronizadas.

[CVPR 2025] MMAudio: Dominando o treinamento conjunto multimodal para síntese de vídeo para áudio de alta qualidade.

[NeurIPS 2025] Implementação em PyTorch de [ThinkSound], uma estrutura unificada para gerar áudio a partir de qualquer modalidade, guiada por raciocínio Chain-of-Thought (CoT).

StreamSpeech é um modelo "tudo em um" contínuo para reconhecimento, tradução e síntese de fala offline e simultânea.

Uma WebUI para diferentes redes neurais relacionadas a áudio

Uma família de modelos de difusão para geração de texto para áudio.

HunyuanVideo-Foley: Difusão multimodal com alinhamento de representação para geração de áudio Foley de alta fidelidade.

[ICLR 2026] TangoFlux: Geração de texto para áudio super rápida e fiel com Flow Matching

Implementação em PyTorch do Make-An-Audio (ICML'23) com um Modelo Generativo de Texto para Áudio

OpenMusic: Geração SOTA de Texto para Música (TTM)

🔥🔥🔥 Uma lista selecionada de artigos sobre geração multimodal baseada em LLMs (imagem, vídeo, 3D e áudio).

Um Projeto de Código Aberto para Unificar o Processamento e a Geração de Áudio