audio-language-model

中国語、方言、アクセント、多言語音声に対応した、オープンソースの LLM ベース ASR モデルファミリ。FunASR、vLLM、ストリーミング、llama.cpp ランタイムをサポート。

複雑な推論タスク向けに特別に設計された 6,446 件のテキスト・音声アノテーション済みサンプルからなる Audio Logical Reasoning (ALR) データセットを提案します。このリソースを基に、音声言語モデル (ALMs) に高度なバイモーダル推論能力を付与するために調整された、ルールベースの強化学習 (RL) アルゴリズムである SoundMind を提案します。

OmniVinci は、視覚、音声、言語を統合理解するためのオムニモーダル LLM です。

パーソナライズされた音声クローン機能を備えた、世界初のオープンソースのリアルタイムエンドツーエンド音声対話モデル