audio-language-model

Dòng mô hình ASR dựa trên LLM mã nguồn mở cho tiếng Trung, phương ngữ, tiếng địa phương và giọng nói đa ngôn ngữ, với các thời gian chạy FunASR, vLLM, streaming và llama.cpp.

Chúng tôi giới thiệu bộ dữ liệu Suy luận Lô-gic Âm thanh (ALR), bao gồm 6.446 mẫu được chú thích văn bản-âm thanh được thiết kế đặc biệt cho các tác vụ suy luận phức tạp. Dựa trên tài nguyên này, chúng tôi đề xuất SoundMind, một thuật toán học tăng cường (RL) dựa trên quy tắc được điều chỉnh để trang bị cho các mô hình ngôn ngữ âm thanh (ALM) khả năng suy luận hai phương thức sâu sắc.

OmniVinci là một LLM đa phương thức giúp hiểu đồng thời hình ảnh, âm thanh và ngôn ngữ.

Mô hình đối thoại bằng giọng nói đầu cuối thời gian thực mã nguồn mở đầu tiên trên thế giới với tính năng nhân bản giọng nói cá nhân hóa