audio-generation

LocalAI ist das Open-Source AI-Engine. Führen Sie jedes Modell – LLMs, Vision, Voice, Image, Video – auf beliebiger Hardware aus. Keine GPU erforderlich.

Multilingualer großflächiges Sprachgenerierungsmodell, das Inference, Training und Bereitstellung in vollem Stack ermöglicht.

Amphion (/æmˈfaɪən/) ist ein Toolkit zur Audio-, Musik- und Sprachgenerierung. Sein Zweck ist es, reproduzierbare Forschung zu unterstützen und jüngeren Forschern sowie Ingenieuren den Einstieg in die Forschung und Entwicklung zur Audio-, Musik- und Sprachgenerierung zu erleichtern.

Ein Framework für effiziente Modellinferenz mit Omnimodalitätsmodellen

YuE: Open-Source-Grundlagenmodell zur Generierung vollständiger Songs, ähnlich wie Suno.ai, aber offen

Eine einzige Gradio + React WebUI mit Erweiterungen für ACE-Step, OmniVoice, Kimi Audio, Piper TTS, GPT-SoVITS, CosyVoice, XTTSv2, DIA, Kokoro, OpenVoice, ParlerTTS, Stable Audio, MMS, StyleTTS2, MAGNet, AudioGen, MusicGen, Tortoise, RVC, Vocos, Demucs, SeamlessM4T und Bark!

AudioLDM: Generiere Sprache, Soundeffekte, Musik und mehr aus Text.

Text-zu-Audio/Musik-Generierung

Eine Zeitleiste der neuesten KI-Modelle zur Audiogenerierung ab 2023!

Implementierung von SoundStorm, effiziente parallele Audiogenerierung von Google DeepMind, in PyTorch

Hosten Sie das leistungsstarke Chatterbox TTS-Modell selbst. Dieser Server bietet eine benutzerfreundliche Web-UI, flexible API-Endpunkte (inkl. OpenAI-Kompatibilität), vordefinierte Stimmen, Klonen von Stimmen und Textverarbeitung im Umfang großer Hörbücher. Läuft beschleunigt auf NVIDIA (CUDA), AMD (ROCm) und CPU.

Eine Familie von Diffusionsmodellen zur Generierung von Text zu Audio.

Offizielle PyTorch-Implementierung von BigVGAN (ICLR 2023)

Eine ComfyUI-Custom-Node-Integration für lokales Multi-Engine- und Multi-Language-Text-to-Speech sowie Voice Conversion. Unterstützt: RVC, Echo-TTS, Qwen3-TTS, Cozy Voice 3, Step Audio EditX, IndexTTS-2, Chatterbox (klassisch und multilingual), F5-TTS, Higgs Audio 2, 3 und VibeVoice mit unbegrenzter Textlänge, SRT-Timing, Charakter-Unterstützung und vielen Audiowerkzeugen

Offizielle CLI für muapi.ai — Generieren Sie Bilder, Videos und Audio über das Terminal. MCP-Server, 14 KI-Modelle, über npm + pip installierbar.

SGLang-Omni ermöglicht hochleistungsfähiges Serving für TTS-, ASR-, Sprach- und Omni-Modelle.

KI-Audiodatensätze (AI-ADS) 🎵, einschließlich Sprache, Musik und Soundeffekten, die Trainingsdaten für generative KI, AIGC, KI-Modelltraining, die Entwicklung intelligenter Audiowerkzeuge und Audioanwendungen bereitstellen können.

Das Zentrum für Audio-KI-Forschung: Arbeiten, offene Modelle, Benchmarks und Datensätze über Audio-LLMs, Spracherkennung, TTS, Musik und Audiogenerierung.

Echtzeit-Sprachassistent — WebRTC-Streaming, faster-whisper ASR, lokales LLM, Vui Nano (300M) TTS. Kompatibel mit der OpenAI Realtime API. Sprachklonen, Barge-in, ca. 9-fache Echtzeit auf einer 4090. Apache 2.0.

Flatkey Media-Generierungs-CLI für Bilder, Videos, Audio, Text, Credits und Modellsuche.

Genblaze ist ein Open-Source-Python-SDK zur Orchestrierung generativer KI-Medienpipelines über Video-, Audio- und Bildanbieter hinweg, mit integrierter Herkunftsnachverfolgung für jeden Output.

Ein Open-Source-Projekt zur Vereinheitlichung von Audioverarbeitung und -generierung