ByteDance

OmniHumanでAIトーキングアバター動画の作り方

ByteDanceによるOmniHumanは、Astorie上のあらゆるAIモデルの中で最もリアルなトーキングヘッド動画を生成します。1枚のポートレート写真と1本の音声トラックがあれば、自然な口の動き、微細な表情の変化(眉の動き、目の細まり、あごの緊張)、そして有機的な頭の動きを持つ動画を生成し、その結果は実写映像とほぼ見分けがつきません。トーキングヘッドモデルの中でもプレミアムティアに位置します。新しいOmniHuman v1.5では、さらに精度が高められています。どちらも720pで、3種類のアスペクト比(1:1、16:9、9:16)に対応しています。エグゼクティブ向けのプレゼンテーション、基調講演、フラッグシップのマーケティング、プロフェッショナルなコース教材など、リアリズムを最優先したい場合は、より軽量なKling LipSyncや大量生産向けのPixverse Lipsyncよりも、OmniHumanが明確な選択肢になります。

Step-by-Step Guide

1

最大限のリアリズムに最適化されたポートレートを用意する

ポートレート写真の品質が、そのまま出力の品質を左右します——Kling LipSyncやPixverseよりもその影響は大きく、これはOmniHumanの高度な顔アニメーションが、ソース画像のわずかな欠点さえも露わにしてしまうためです。正面を向き、光がよく当たった、口を閉じた中立的な表情の写真で、被写体がカメラまたはその付近を見ているものを使いましょう。避けるべきもの:横顔(モデルは顔の見えない側を推測できません)、強い影(アニメーション内で光のムラを生みます)、サングラス(目のアニメーションを妨げます)、顔の近くにある手(遮蔽によるアーティファクトを生みます)。プロフェッショナルな証明写真のような写真が最良の結果を生みます。最低解像度は、顔部分で512×512ピクセルです。AI生成のポートレートを使う場合は、OmniHumanに渡す前に、口、目、あごのライン周辺にアーティファクトがないか確認してください。

2

放送品質の音声を生成またはアップロードする

音声トラックがOmniHumanのすべてを駆動します——口の動き、表情、頭の動き、さらにはまばたきのタイミングまで、すべて話し方のリズムと感情のトーンに従います。最終的な結果への影響は、ポートレートよりも音声品質のほうが大きいほどです。音声を生成する場合は、ElevenLabs v3(英語の表現力が最も高く、21種類の声)またはMinimax Speech 2.5 HD(中国語の声調の正確さが最も高く、17種類の声)を使いましょう。録音をアップロードする場合は、背景ノイズを最小限に抑えた単一話者の音声を、44.1kHz以上で録音してください。話す速度も重要です。中程度の速さ(130〜160 WPM)が最も自然な口の同期を生みます。速すぎる話し方はモデルが音素を駆け足で処理してしまう原因になり、遅すぎる話し方は口の動きの間に不自然に長い間ができる原因になります。

3

キャンバス上でポートレート+音声をOmniHumanに接続する

画像ノード(ポートレート)とオーディオノード(音声)を追加し、両方をOmniHumanを選択した動画ノードに接続します。モデルは音声の波形から、自然な頭の動き、まばたき、眉の動き、口の同期を自動的に合成します——テキストプロンプトも設定可能なパラメーターもありません。このゼロパラメーター設計により、結果は完全に2つの入力によって決まります。OmniHumanは1:1、16:9、9:16のいずれかのアスペクト比で720p出力します。ソーシャルメディア(TikTok、Instagram Reels、YouTube Shorts)には9:16、プレゼンテーションやウェブ埋め込みには16:9、プロフィール動画やLinkedInの投稿には1:1を選びましょう。レンダリング時間は音声の長さに比例して増えるため、長いナレーションほど生成にかかる時間も比例して長くなります。

4

TTS → OmniHumanパイプラインで多言語に展開する

ポートレート+音声というアーキテクチャは、多言語展開の場面で真価を発揮します。英語(ElevenLabs)、中国語(Minimax Speech)、スペイン語、日本語などのTTS音声トラックを生成し、それぞれを同じポートレートと一緒にOmniHumanに渡します。キャラクターの顔はすべての言語で同一のまま、口の動きと頭の仕草だけが新しい音声のリズムとトーンに合わせて変化します。Astorieのキャンバス上に複数のOmniHuman動画ノードを並列で配置すれば、複数言語を同時に生成できます。超リアルさが不要な大量のローカライズ作業では、Kling LipSyncやPixverse Lipsyncのほうがクリップごとの生成速度が大幅に速くなります——その代償として、リアリズムは目に見えて下がります。

Parameter Tips

OmniHumanは音声駆動型で、設定可能なパラメーターは一切ありません。ポートレートの品質と音声の明瞭さという2つの入力だけが、唯一のコントロール手段です。準備時間の80%をこの2つを整えることに費やしましょう。残りはすべてモデルが処理します。

正面を向いた、口を閉じた中立的な表情のポートレートは、角度のついた写真や表情豊かな写真よりも格段に良い結果を生みます。モデルは音声から独自に自然な表情を合成するため、すでに表情豊かなポートレートはモデルのアニメーションと衝突してしまいます。

レンダリング時間は音声の長さに比例します。すばやく反復したいプロジェクトでは、まずPixverse Lipsyncでスクリプトの下書きと音声のペース配分をテストし、承認された最終版をOmniHumanで生成しましょう。

OmniHuman v1.5では、目の動きの自然さと微表情のバリエーションが細部にわたって改善されています。投資家向けピッチや基調講演など、こうした細部が重要になる重要度の高いコンテンツにはv1.5を、研修動画やチュートリアルには標準のOmniHumanで十分です。

What to Expect

OmniHumanは、Astorieで利用できる最もリアルなトーキングヘッド動画を生成します——口の同期の精度、自然な頭の揺れ、まばたきのタイミング、顔の微表情のすべてが最先端です。プレミアムな選択肢と言えます。トーキングヘッドの3段階システムでは、フラッグシップコンテンツ(投資家向けピッチ、基調講演、主力マーケティング動画)の最大限のリアリズムにはOmniHumanを、品質が重要でクリップごとのレンダリング時間を予測可能にしたいプロフェッショナルなコンテンツには案件単位課金のKling LipSyncを、大量のバッチ制作(日々のソーシャルメディア、教育シリーズ、多言語ローカライズ)には秒単位課金のPixverse Lipsyncを使います。Klingに対するOmniHumanの具体的な優位性は、より自然な目の動き、より豊かな微表情、感情のこもった発話へのより優れた対応力です。制約としては、最大解像度が720pである点が挙げられ、Klingはより高い解像度で出力できます。

Use OmniHuman on Astorie

Connect OmniHuman with other AI models on Astorie's infinite canvas. No GPU required — start free.

Get Started Free

Related features

Docs

Related reading

Try Other Models for This Task

Kling

Kling LipSync

Kling LipSyncは、Klingが誇る業界最高峰の人体モーションエンジンを音声駆動のトーキングヘッド生成に持ち込み、OmniHumanに匹敵する滑らかで自然な口の動きと表情を、より軽いレンダリングで実現します。課金は音声の秒数ではなく案件単位のため、クリップの長さにかかわらずレンダリング時間が予測可能です——OmniHumanのプレミアム品質とPixverse Lipsyncの秒単位・大量生産モデルの中間に位置するティアと言えます。アーキテクチャ上の強みとして、Kling LipSyncはKling 3.0を人体モーションにおける最良の映像モデルたらしめているのと同じエンジンで駆動されており、あごの動き、頬の変形、下あごの動きが近似ではなく解剖学的に正確に再現されます。

View guide

Lipsync

Pixverse Lipsync

Pixverse Lipsyncは、トーキングヘッド動画におけるスピードの王者です——出力秒数で課金されるため、どんな規模でも大量生産を高速に行えます。非常に短いクリップでは、Pixverseは案件単位課金のKling LipSyncより早く完了することがあります。より長いクリップでは、Klingのほうが効率的な選択肢になります。品質面のトレードオフは現実にあります。Pixverseが生み出す口の動きは、ソーシャルメディアやウェブコンテンツには「十分」なレベルですが、Klingの解剖学的な精度やOmniHumanの超リアリズムには及びません。コンテンツシリーズ、教育コース、多言語ローカライズ向けに10本以上のトーキングヘッドクリップが必要な場合、Pixverseはクリップごとのレンダリング時間が積み上がらずにスケールできる唯一のモデルです。

View guide
AIトーキングアバター動画の作り方