Kling AI AvatarでAIで音声にリップシンクする方法

次の2つの特定のケースでは、OmniHumanよりKling AI Avatarを選びましょう。(1) 構図が頭と肩だけの場合——演者の顔のクローズアップで、身体や手は映らない構図です。(2) 秒単位の課金ではなく、ジョブごとに予測しやすいレンダリング時間が欲しい場合です。全身の演者コンテンツ(肩+胴体+ジェスチャー)には、顔に加えて上半身もアニメーションするOmniHumanが正しい選択です。同じ肖像で5言語以上のセリフを読ませる多言語ローカライズでは、Kling AI Avatarのよりタイトな構図がむしろ有利に働きます。身体のディテールが少ない分、言語間でモーションがブレる可能性も少なくなるからです。

被写体がカメラの方を向いている(または四分の三アングル)、口を閉じた中立的な表情、顔の近くに手がない、サングラスなし、顔に均一な光が当たっている、そんな肖像を使いましょう。解像度は、顔部分で最低512×512、推奨は1024×1024以上です。Nano Banana 2やFluxで生成したAI肖像の場合は、口・目・顎のラインまわりにアーティファクトがないことを確認してください——Kling AI Avatarはソースの不完全さをそのまま増幅します。横顔、被写体ブレのあるソース、部分的に隠れた顔は、目に見えて質の劣るリップシンクになります。肖像の品質は単一最大の品質を左右する要因なので、音声を生成する前に、不釣り合いなほど時間をかけてでもここを正しく仕上げましょう。

TTS音声は、Astorieのキャンバス上で直接、ElevenLabs Eleven v3(英語の感情表現が最も優れる)、Multilingual v2(29言語に対応し安定した仕上がり)、Fish Audio S2-Pro(80以上の言語)のいずれかから生成しましょう。録音をアップロードする場合は、44.1kHz以上のクリーンな単一話者の音声で、BGMや第二の声が入っていないことを確認してください。話す速さも重要です。130〜160 WPMが最も自然なリップシンクを生みます。180 WPMを超えるとモデルが音素を読み飛ばし、100 WPMを下回ると口の動きの間に不自然に長い間ができてしまいます。多言語のワークフローでは、キャンバスの「同じ肖像+異なる音声」という構成のおかげで、質の良い肖像1枚さえあれば5言語以上の版を展開できます。

ツールノードを追加してKling AI Avatarを選び、画像ノード(肖像)と音声ノード(セリフ)の両方を入力として接続します。モデルは同期した動画クリップを出力します——1回の呼び出しでは通常30〜60秒で、Klingの人体モーションエンジンに由来する解剖学的に正確な顎と頬の動きを伴います。長いナレーション(3分のコースモジュールや5分の基調講演など)では、台本を30〜60秒単位に分割し、それぞれ個別に生成してから下流でつなぎ合わせましょう。Astorieのキャンバスでは、同じ肖像と異なる音声セグメントをそれぞれ与えた複数のKling AI Avatarノードを順番に並べることで分割に対応でき、出力は途切れのない1本のトーキングヘッドとして読み取れます。注意:分割のパターンについては、併設の`tools/lip-sync`ページで詳しく解説しています。