Kling AI Avatar＆モーション転写

Kling AI Avatarは、1枚のポートレート写真と音声トラックから、同期したリップシンク・自然なまばたき・頭の動きを備えたトーキングヘッド動画を生成する、Klingの音声駆動ポートレートアニメーションモデルです。StandardまたはProの品質で動作し、Astorieのノードベースのキャンバス上で他50以上の動画モデルとあわせて利用できます。

Klingのアバターモーション転写は、Kling 2.6 Motion Controlバリアント上で動作します。キャラクター参照画像と参照モーション動画を用意すると、モデルはあなたのキャラクターの外観を保ったまま、参照動作をそのキャラクターに再ターゲティングします。ダンスやジェスチャー、演技をブランドマスコットや一貫したキャラクターに反映させたい場合に最適です。

Kling AI Avatarには2つの入力が必要です。1枚の正面向きポートレート画像と、音声ファイル（発話または歌）です。モデルはその音声に同期した口の動きと頭の動きを生成します――グリーンスクリーンやモーションキャプチャ、演技用のテキストプロンプトは不要です。光量が十分でニュートラルな表情のポートレートと、クリーンなモノラル音声で最良のリップシンクが得られます。

Kling AI AvatarとByteDanceのOmniHumanは、どちらも音声駆動のトーキングヘッドモデルであり、最適な選択はポートレートと音声次第です。Kling AI Avatarはクリアな口の動きと、長いクリップでも安定したアイデンティティ維持に定評があり、一方OmniHuman 1.5はスタイライズされたイラスト調の顔もうまく処理します。Astorieでは1枚のポートレートを両方に同時に分配し、最も良く見えるテイクを残せます――勘に頼って選ぶ必要はありません。

できます――Kling AI Avatarは任意の音声入力を受け付け、それが録音された発話であれ、テキスト読み上げによる音声であれ、歌であれ、アバターの口をそれに同期させます。最も正確なリップシンクを得るには、BGMのないクリーンなモノラル音声を使いましょう。同じAstorieキャンバス上でTTSモデル（テキスト→音声）をKling AI Avatarに連結すれば、エンドツーエンドのボイスオーバー動画を作れます。

できません――Kling AI Avatarはポートレートのみに対応し、頭と顔をアニメーション化するもので、ゼロから全身の動きを生成することはありません。全身の動きが必要な場合は、Kling 2.6 Motion Controlバリアントで参照動画の動きをキャラクターに再ターゲティングするか、Kling 3やSora 2のようなテキストから動画生成モデルと組み合わせて全身カットを作りましょう。

Astorieでは、ポートレートを含む画像ノードと音声トラックを含む音声ノードを配置し、両方をKling AI Avatarの動画ノードに接続して実行します。Astorieはマルチモデルのキャンバスであるため、同じ入力をOmniHumanやHailuo、Sora 2にも並行して分配し、バージョントレイですべてのテイクを比較したうえで、最も良い結果をNLEタイムラインに書き出すことができます。

向いています――Kling AI Avatarは、一貫した顔のアイデンティティを保ち、任意の音声トラックから自然なリップシンクを生成できるため、AIインフルエンサーやバーチャルスポークスパーソン、カスタマーサービス向けアバターのコンテンツに適しています。上流でキャラクター一貫性のある画像モデルと組み合わせれば、キャンペーンのすべてのクリップで同じペルソナを登場させられます。