audio-generation

LocalAI é o motor de IA de código aberto. Execute qualquer modelo - LLMs, visão, voz, imagem, vídeo - em qualquer hardware. Não é necessário GPU.

Modelo multilíngue de geração de voz de grande escala, oferecendo capacidade full-stack de inferência, treinamento e implantação.

Amphion (/æmˈfaɪən/) é um kit de ferramentas para geração de áudio, música e fala. Seu objetivo é apoiar pesquisas reprodutíveis e ajudar pesquisadores e engenheiros iniciantes a começar na área de pesquisa e desenvolvimento de geração de áudio, música e fala.

Um framework para inferência eficiente de modelos com modelos de omnimodalidade

YuE: Modelo fundamental de geração de músicas completas, similar ao Suno.ai, porém aberto.

Uma WebUI única em Gradio + React com extensões para ACE-Step, OmniVoice, Kimi Audio, Piper TTS, GPT-SoVITS, CosyVoice, XTTSv2, DIA, Kokoro, OpenVoice, ParlerTTS, Stable Audio, MMS, StyleTTS2, MAGNet, AudioGen, MusicGen, Tortoise, RVC, Vocos, Demucs, SeamlessM4T e Bark!

AudioLDM: Gere fala, efeitos sonoros, música e muito mais a partir de texto.

Geração de texto para áudio/música.

Uma linha do tempo dos modelos de IA mais recentes para geração de áudio, começando em 2023!

Implementação do SoundStorm, geração de áudio paralela eficiente do Google Deepmind, em Pytorch

Auto-hospede o poderoso modelo de TTS Chatterbox. Este servidor oferece uma interface web amigável, endpoints de API flexíveis (incluindo compatibilidade com OpenAI), vozes predefinidas, clonagem de voz e processamento de texto em escala de audiolivros. Executa com aceleração em NVIDIA (CUDA), AMD (ROCm) e CPU.

Uma família de modelos de difusão para geração de texto para áudio.

Implementação oficial em PyTorch do BigVGAN (ICLR 2023)

Uma integração de nó personalizado do ComfyUI para conversão de texto em fala e voz local com múltiplos motores e idiomas. Suporta: RVC, Echo-TTS, Qwen3-TTS, Cozy Voice 3, Step Audio EditX, IndexTTS-2, Chatterbox (clássico e multilíngue), F5-TTS, Higgs Audio 2, 3 e VibeVoice com comprimento de texto ilimitado, temporização SRT, suporte a personagens e muitas ferramentas de áudio

CLI oficial para muapi.ai — gere imagens, vídeos e áudio a partir do terminal. Servidor MCP, 14 modelos de IA, instalável via npm e pip.

O SGLang-Omni capacita o atendimento de alto desempenho para modelos TTS, ASR, de fala e onidirecionais.

Conjuntos de dados de áudio de IA (AI-ADS) 🎵, incluindo fala, música e efeitos sonoros, que podem fornecer dados de treinamento para IA generativa, AIGC, treinamento de modelos de IA, desenvolvimento de ferramentas de áudio inteligentes e aplicações de áudio.

O hub para pesquisa de IA de áudio: artigos, modelos abertos, benchmarks e datasets sobre LLMs de áudio, reconhecimento de fala, TTS, música e geração de áudio.

Assistente de voz em tempo real — streaming WebRTC, ASR faster-whisper, LLM local, TTS Vui Nano (300M). Compatível com a API Realtime da OpenAI. Clonagem de voz, interrupção (barge-in), ~9× em tempo real em uma 4090. Apache 2.0.

CLI de geração de mídia Flatkey para imagens, vídeos, áudio, texto, créditos e descoberta de modelos.

O Genblaze é um SDK Python de código aberto para orquestrar pipelines de mídia de IA generativa em provedores de vídeo, áudio e imagem com procedência integrada para cada saída.

Um Projeto de Código Aberto para Unificar o Processamento e a Geração de Áudio