2 Models Available

AIで音声にリップシンクする方法

あるマーケターは、ブランド代言人の肖像とElevenLabsで生成した台本を使って、出演者なしで30秒の口播広告を仕上げます。Astorieのキャンバス上で肖像をリップシンクツールノードに送り、ElevenLabs Eleven v3の音声トラックを一緒に流し込み、Kling Avatar(タイトな顔アップの口播)、OmniHuman(ジェスチャーと上半身を含むプレゼンター)、またはKling O3 Video Edit(リスタイル用)のいずれかを選びます。ほとんどのリップシンクモデルは1回の呼び出しで30〜60秒が上限なので、長い台本は分割してください。下記からモデルを選んで、UGC風の説明動画や吹き替えのワークフローを体験してください。

Choose a Model to Get Started

Kling

Kling AI Avatar

Kling AI Avatarは、顔にフォーカスしたリップシンクモデルです——肖像と音声トラックを受け取り、口・顎・顔の下半分が音声波形に合わせて自然にアニメーションする、コンパクトなトーキングヘッド動画を生成します。構図はバストアップ(頭と肩)に固定されており、ジェスチャーや胴体の動きを伴う全身の演者動画には、代わりにOmniHumanを使いましょう。Kling AI Avatarはテキストプロンプトも設定可能なパラメータも持たない音声駆動のノードとして動作し、品質はもっぱら肖像と音声の質によって決まります。ほとんどのリップシンク呼び出しは1回の生成あたり30〜60秒が上限のため、長い台本はいくつかの呼び出しに分割し、下流でつなぎ合わせます。ルーティングの詳細については、併設の`tools/lip-sync`ページで解説しています。このハウツーは、Kling AI Avatarと組み合わせた流れに特化した内容です。

4 stepsView guide

ByteDance

OmniHuman 1.5

OmniHuman 1.5は、上半身全体を動かすリップシンクモデルです——顔だけでなく肩、腕、手、胴体まで音声に合わせてアニメーションし、口だけが動く静止肖像ではなく、実際に撮影した動画のように見える演者スタイルのトーキングヘッド動画を生み出します。アーキテクチャは、肖像+音声→自然な微表情、瞬きのタイミング、頭の揺れ、ジェスチャーを伴う同期動画、という構成です。Kling AI Avatarがタイトなクローズアップの構図を提供するのに対し、OmniHumanは自然にジェスチャーをしながら台本を読み上げる演者を作り出します——経営層のプレゼンテーション、基調講演風のマーケティング、演者が画面に映るコース、存在感が重要なUGC広告などに適しています。出力は1:1、16:9、9:16のいずれかのアスペクト比で720pで書き出されます。併設の`tools/lip-sync`ページではツールのルーティングを解説しています。このハウツーは、OmniHumanと組み合わせた流れに特化した内容です。

4 stepsView guide