2つの異なる入力
リップシンクでは動画クリップと音声トラックを使用します。静止画は、記載されているワークフローにおける最終的な動画入力ではありません。
動画と音声のワークフロー
動画と音声のためのAIリップシンク
動画クリップとクリアな音声トラックを用意し、生成結果を最初から最後まで確認します。3フレームの画像は説明用のストーリーボードであり、再生可能または検証済みのリップシンク出力ではありません。
AIリップシンクの使い方
- 1
2つの入力を準備する
使用許可のある顔動画と、クリアな音声録音を選びます。ポートレートしかない場合は、まずベース動画を作成します。
- 2
動画と音声を接続する
Astorieキャンバスでリップシンクツールを追加し、動画と音声を対応する入力に接続します。
- 3
クリップ全体を確認する
音声付きで視聴します。結果を使用する前に、子音、間、最後の単語、顔の一貫性、目立つアーティファクトを確認します。
注目すべき点
タイミングの確認が必要
レンダリングが完了していても、口の形や間が合わないことがあります。元の音声とともに通常速度で結果を確認してください。
使用許可のある肖像を使用する
必要な同意または権利を有する人物、声、映像のみを使用してください。
入力、出力、確認
| 入力 | 記載されているキャンバスのワークフローでは、顔動画と別途用意した音声トラックを使用します。 | |
|---|---|---|
| 出力 | 音声付きで確認する動画。このページのプレビュー画像は説明用のイラストにすぎません。 | |
| 品質チェック | リップシンクのタイミング、人物の一貫性、まばたき、間、クリップの終わりを確認します。 |
AIリップシンク FAQ
静止画のポートレートをリップシンクできますか？
記載されているKling LipSync A2Vのワークフローには動画と音声が必要です。ポートレートから始める場合は、リップシンクの前に短いベース動画を作成してください。
リップシンクで自然な会話は保証されますか？
いいえ。公開する前に、レンダリング全体の口のタイミング、表情、視覚的な変化を確認してください。
リップシンクのステップはどこで実行しますか？
Astorieキャンバスを開き、リップシンクツールを追加して、そこで動画と音声を接続します。このページには、2入力のリップシンクウィジェットは表示されません。