kyutai-labs

Moshiは、音声-テキストの基盤モデルおよび全二重音声対話フレームワークです。最先端のストリーミングニューラルオーディオコーデックであるMimiを使用しています。

CPU（そしてポケット）に収まる TTS。

Delayed Streams Modelingフレームワークに基づく、Kyutaiの音声認識（Speech-To-Text）および音声合成（Text-To-Speech）モデル。

Hibikiは、音声のストリーミング翻訳（同時通訳とも呼ばれる）のためのモデルです。発話の終了を待ってから翻訳を開始するオフライン翻訳とは異なり、Hibikiはフローを調整して、リアルタイムでチャンクごとに正しい翻訳を生成するのに十分なコンテキストを蓄積します。

テキスト LLM に聞き取りと発話をさせる