audio-generation

LocalAI là công cụ AI mã nguồn mở. Chạy mọi mô hình - LLM, thị giác, giọng nói, hình ảnh, video - trên mọi phần cứng. Không cần GPU.

Mô hình tạo giọng nói lớn đa ngôn ngữ, cung cấp khả năng toàn diện từ suy luận, đào tạo đến triển khai.

Amphion (/æmˈfaɪən/) là bộ công cụ tạo Âm thanh, Âm nhạc và Tiếng nói. Mục đích của nó là hỗ trợ nghiên cứu có thể tái tạo và giúp các nhà nghiên cứu, kỹ sư trẻ bắt đầu trong lĩnh vực nghiên cứu và phát triển tạo âm thanh, âm nhạc và tiếng nói.

Một framework để suy luận mô hình hiệu quả với các mô hình đa phương thức

YuE: Mô hình nền tảng tạo nhạc toàn bài mở, tương tự như Suno.ai nhưng là mã nguồn mở

Giao diện WebUI đơn lẻ tích hợp Gradio + React với các tiện ích mở rộng cho ACE-Step, OmniVoice, Kimi Audio, Piper TTS, GPT-SoVITS, CosyVoice, XTTSv2, DIA, Kokoro, OpenVoice, ParlerTTS, Stable Audio, MMS, StyleTTS2, MAGNet, AudioGen, MusicGen, Tortoise, RVC, Vocos, Demucs, SeamlessM4T và Bark!

AudioLDM: Tạo giọng nói, hiệu ứng âm thanh, âm nhạc và hơn thế nữa chỉ với văn bản.

Tạo văn bản thành âm thanh/nhạc

Dòng thời gian của các mô hình AI tạo sinh âm thanh mới nhất, bắt đầu từ năm 2023!

Bản cài đặt SoundStorm, Tạo âm thanh song song hiệu quả từ Google Deepmind, bằng PyTorch

Tự triển khai mô hình Chatterbox TTS mạnh mẽ. Máy chủ này cung cấp Web UI thân thiện với người dùng, các điểm cuối API linh hoạt (bao gồm tương thích với OpenAI), giọng đọc có sẵn, nhân bản giọng nói và xử lý văn bản quy mô sách nói lớn. Chạy tăng tốc trên NVIDIA (CUDA), AMD (ROCm) và CPU.

Một họ mô hình khuếch tán để tạo văn bản thành âm thanh.

Triển khai chính thức bằng PyTorch của BigVGAN (ICLR 2023)

Một tích hợp node tùy chỉnh ComfyUI cho chuyển đổi văn bản thành giọng nói và chuyển đổi giọng nói đa ngôn ngữ, đa công nghệ cục bộ. Hỗ trợ: RVC, Echo-TTS, Qwen3-TTS, Cozy Voice 3, Step Audio EditX, IndexTTS-2, Chatterbox (cổ điển và đa ngôn ngữ), F5-TTS, Higgs Audio 2, 3 và VibeVoice với độ dài văn bản không giới hạn, thời gian SRT, hỗ trợ nhân vật và nhiều công cụ âm thanh khác

CLI chính thức cho muapi.ai — tạo hình ảnh, video và âm thanh từ terminal. Hỗ trợ máy chủ MCP, 14 mô hình AI, có thể cài đặt qua npm và pip.

SGLang-Omni hỗ trợ phục vụ hiệu suất cao cho TTS, ASR, các mô hình giọng nói và đa năng (omni).

Tập dữ liệu âm thanh AI (AI-ADS) 🎵, bao gồm Giọng nói, Âm nhạc và Hiệu ứng âm thanh, có thể cung cấp dữ liệu huấn luyện cho Generative AI, AIGC, huấn luyện mô hình AI, phát triển công cụ âm thanh thông minh và các ứng dụng âm thanh.

Trung tâm nghiên cứu AI âm thanh: các bài báo, mô hình mở, điểm chuẩn và tập dữ liệu trên audio LLMs, nhận dạng giọng nói, TTS, tạo nhạc và âm thanh.

Trợ lý giọng nói thời gian thực — hỗ trợ truyền phát WebRTC, ASR faster-whisper, LLM cục bộ, TTS Vui Nano (300M). Tương thích với OpenAI Realtime API. Hỗ trợ sao chép giọng nói, ngắt lời, đạt tốc độ ~9× thời gian thực trên card 4090. Giấy phép Apache 2.0.

CLI tạo phương tiện Flatkey cho hình ảnh, video, âm thanh, văn bản, thông tin ghi công và khám phá mô hình.

Genblaze là một Python SDK mã nguồn mở để điều phối các đường ống truyền thông AI tạo sinh trên các nhà cung cấp video, âm thanh và hình ảnh với tính năng xác thực nguồn gốc tích hợp cho mọi đầu ra.

Dự án mã nguồn mở nhằm hợp nhất quá trình xử lý và tạo âm thanh