Fish Audio S2-ProでAIで声をクローンする方法

アップロードする前に、声の権利関係を記録しておきましょう。Fish Audio S2-Proはオープンソースのため、同意の担保責任はあなた自身にあります——自分以外の声については、書面での許可を必ず保管してください。次に参照音声を準備します。30秒以上のクリーンな話し声(BGMなし、他の話者の声もなし、44.1kHzのWAVが望ましい)と、実際に話した内容と一字一句一致する文字起こしを用意しましょう。Fish Audioはクローン時に文字起こしを使って音素を整合させるため、音声では「we'll」と言っているのに文字起こしが「we will」になっているようなズレがあると、小さな整合エラーが生じ、長い台本を生成するほど積み重なっていきます。文字起こしがない場合は、まずSTT(音声認識)モデルにかけてから校正しましょう。

オーディオノードを追加し、モデル選択リストからFish Audio S2-Proを選んで、参照音声と文字起こしのペアをアップロードします。モデルからクローンされた音声IDが返され、プロジェクト内のすべてのオーディオノードで再利用できます。注意:Astorie上のFish Audioは現時点では比較検討用の掲載という位置づけです——ElevenLabsやMiniMaxなどと並んでAstorieのレジストリには存在しますが、実際の本番稼働への統合はワークスペースの設定によって異なります。ワークスペースでFish Audioのランタイムが有効になっていない場合は、本番用途にはElevenLabsを使い、Fish AudioはAstorieの外でセルフホストして試す実験用途に使いましょう。

Fish Audio S2-Proの最大の違いは、自由記述型の方括弧コントロールです。固定されたトークンの一覧ではなく、[whispering sweetly]、[laughing nervously]、[pause for two seconds]、[angry whisper]のように、話し方を変えたい単語のすぐそばに自然言語を方括弧で挟んで書き込めます。方括弧の指示は局所的に保ちましょう——単語の近くに置いたタグは、その単語と直後のフレーズにだけ影響し、段落全体には及びません。ElevenLabsの固定インラインタグ([whispers]、[laughs]、[excited])と比べると、Fish Audioはより幅広い表現の自由度を得られる一方、解釈のされ方はやや予測しづらくなります。長い台本を本番に使う前に、2〜3パターンの読み上げを試してみましょう。

重要度の高いコンテンツでは、Fish Audio S2-Proのオーディオノードと ElevenLabs Eleven v3のオーディオノードをキャンバス上に並べて配置し、同じ台本をどちらもクローンした声で読み上げさせてみましょう。比較すると多くの発見があります。ElevenLabsは英語の感情表現がより洗練されていて説得力があり、一方Fish Audioは自由記述型の感情タグをより柔軟に扱え、モデルを切り替えずに多くの言語をカバーできます。多くの制作チームは、プロトタイプ収録や多言語の実験にはFish Audioを使い、公開版の収録はElevenLabsで仕上げています。同じキャンバス上で完結するため、比較のためにAstorieを離れる必要はありません。