text-to-audio

Amphion est une boîte à outils pour la génération audio, musicale et vocale. Son objectif est de soutenir la recherche reproductible et d'aider les chercheurs et ingénieurs débutants à se lancer dans la recherche et le développement liés à la génération audio, musicale et vocale.

Générer des livres audio à partir d'EPUB, PDF et texte avec des sous-titres synchronisés.

[CVPR 2025] MMAudio : Maîtriser l'entraînement multimodal conjoint pour la synthèse vidéo-audio de haute qualité.

[NeurIPS 2025] Implémentation PyTorch de [ThinkSound], un framework unifié pour générer de l'audio à partir de n'importe quelle modalité, guidé par le raisonnement Chain-of-Thought (CoT).

StreamSpeech est un modèle tout-en-un fluide pour la reconnaissance vocale, la traduction et la synthèse vocale, en mode hors ligne et simultané.

Une interface web pour différents réseaux de neurones liés à l'audio

Une famille de modèles de diffusion pour la génération de texte vers audio.

HunyuanVideo-Foley : diffusion multimodale avec alignement de représentation pour la génération audio Foley haute fidélité.

[ICLR 2026] TangoFlux : génération texte-vers-audio ultra-rapide et fidèle basée sur le Flow Matching.

Implémentation PyTorch de Make-An-Audio (ICML'23) avec un modèle génératif texte‑à‑audio

OpenMusic : génération de texte à musique (TTM) de pointe (SOTA)

Une liste organisée d'articles sur la génération multimodale basée sur les LLM (image, vidéo, 3D et audio).

Un projet open source pour unifier le traitement et la génération audio