ByteDance

OmniHuman 1.5(으)로 AI로 립싱크하는 방법

OmniHuman 1.5는 상체 전체를 다루는 립싱크 모델입니다 — 얼굴뿐 아니라 어깨, 팔, 손, 상체까지 오디오에 반응해 움직이게 해서, 입만 움직이는 정지된 초상이 아니라 실제로 촬영한 영상처럼 보이는 발표자 스타일 토킹 헤드 영상을 만들어 냅니다. 아키텍처는 초상 + 오디오 → 자연스러운 미세 표정, 눈 깜빡임 타이밍, 머리 흔들림, 손짓이 담긴 동기화된 영상입니다. Kling AI Avatar가 밀착된 클로즈업 프레이밍을 제공한다면, OmniHuman은 자연스럽게 손짓하면서 대본을 읽는 발표자를 만들어 줍니다 — 경영진 프레젠테이션, 기조연설 스타일 마케팅, 화면에 인물이 등장하는 강의, 존재감이 중요한 UGC 광고에 알맞은 선택입니다. 출력은 1:1, 16:9, 9:16 비율로 720p로 제공됩니다. 함께 보는 `tools/lip-sync` 페이지에서 툴 라우팅을 다루며, 이 가이드는 OmniHuman과 짝을 이루는 파이프라인에 초점을 맞춥니다.

Step-by-Step Guide

1

발표자의 존재감이 중요할 때는 OmniHuman을 선택하기

다음 세 가지 특정한 경우에는 Kling AI Avatar 대신 OmniHuman을 선택하세요. (1) 프레이밍이 상체이며 시청자가 어깨, 팔, 손짓을 볼 수 있어야 하는 경우. (2) 콘텐츠 유형이 발표자 중심인 경우 — 경영진 업데이트, 기조연설, 강의, 자연스러운 몸짓 언어가 진정성을 전달하는 UGC 설명 영상 등입니다. (3) 대표 마케팅 결과물에 최대한의 사실감이 필요한 경우입니다. 밀착된 클로즈업(강의 인트로, 얼굴이 화면 전체를 차지하는 다국어 립싱크)이라면 Kling AI Avatar가 올바른 선택입니다. 준비 과정이 다르므로 미리 결정해두세요 — OmniHuman은 머리부터 상체 중간까지 보이는 초상을 원하는 반면, Kling AI Avatar는 얼굴만 자른 이미지로도 작동합니다.

2

상체 초상 준비하기

OmniHuman은 피사체가 카메라를 정면으로(또는 4분의 3 각도로) 바라보고, 입을 다문 중립적인 표정이며, 손이 보이되 얼굴을 가리지 않고, 조명이 고른 머리부터 상체 중간까지의 초상을 원합니다. 모델은 보이는 상체 — 어깨, (프레임 안에 있다면) 팔, 손 — 을 움직이므로, 소스에 더 많은 몸이 보일수록 애니메이션이 더 자연스러워집니다. 피할 것: 얼굴 바로 앞의 손, 측면 사진, 짙은 그림자, 선글라스, 움직임으로 인한 흐림입니다. AI로 생성한 초상이라면 Nano Banana 2나 Flux에서 최소 2K로 생성하세요. 해상도 요구 사항은 얼굴 영역 기준 최소 512×512이지만, 깨끗한 상체 애니메이션을 위해서는 전체 몸 크롭이 1024×1024 이상이어야 합니다.

3

자연스러운 속도와 감정 폭을 담은 오디오 생성하기

OmniHuman 1.5는 오디오에 담긴 감정적 억양을 읽어 몸짓 언어로 옮깁니다 — 신난 대사에는 그에 맞는 손짓이, 사색적인 정지에는 고개를 기울이는 동작이, 강조하는 단어에는 손동작이 나타납니다. 이 점이 얼굴만 다루는 립싱크 모델 대비 OmniHuman의 가장 큰 차별점입니다. ElevenLabs Eleven v3의 인라인 태그([excited], [pause], [confidently])로 감정 표현을 지시하면 OmniHuman이 그에 맞춰 몸을 움직여줍니다. 분당 130~160단어의 말하는 속도가 립싱크와 함께 가장 자연스러운 몸의 움직임을 만들어 냅니다. 말이 너무 빠르면 몸이 지나치게 빠른 미세 동작으로 "떨리는" 것처럼 보일 수 있습니다.

4

초상과 오디오를 연결하고 화면 비율 고르기

툴 노드를 추가하고 OmniHuman 1.5를 선택한 다음, 이미지(상체 초상)와 오디오(음성) 노드를 둘 다 입력으로 연결하세요. 출력 비율을 선택하세요 — 세로형 소셜(TikTok, Reels, Shorts)은 9:16, 가로형 프레젠테이션과 유튜브는 16:9, LinkedIn과 피드 게시물은 1:1입니다. 출력은 720p로 렌더링됩니다 — 더 높은 해상도로 납품해야 한다면 이후 비디오 업스케일 툴 노드를 거치세요(upscale-video-to-4k 가이드 참고). 한 번 호출당 상한은 보통 30~60초이며, 더 긴 스크립트는 같은 초상과 서로 다른 오디오 구간을 가진 여러 개의 OmniHuman 노드를 캔버스에 순서대로 배치해 나눠 처리합니다.

Parameter Tips

OmniHuman은 상체 발표자 프레이밍을 위한 선택입니다 — 얼굴이 화면 전체를 차지하는 밀착된 클로즈업이라면 Kling AI Avatar가 더 효율적입니다.

초상은 머리부터 상체 중간까지 보이면서 손이 보이되 얼굴을 가리지 않아야 합니다. 보이는 몸이 많을수록 애니메이션이 더 자연스러워집니다.

오디오 소스에 ElevenLabs v3 인라인 태그([excited], [pause], [confidently])를 사용하세요 — OmniHuman 1.5가 감정적 억양을 읽어 몸짓 언어로 옮겨줍니다.

720p 출력은 모델의 네이티브 해상도입니다 — 4K로 납품해야 한다면 이후 비디오 업스케일 툴 노드를 거치세요(upscale-video-to-4k 가이드 참고).

함께 보는 툴 페이지 `/tools/lip-sync`에서 툴 라우팅과 분할 처리 패턴을 다룹니다. 이 가이드는 OmniHuman과 짝을 이루는 파이프라인에 특화되어 있습니다.

What to Expect

OmniHuman 1.5는 상체가 오디오에 맞춰 자연스럽게 움직이는 발표자 스타일 토킹 헤드 영상을 만들어 냅니다 — 손짓, 머리 흔들림, 눈 깜빡임 타이밍, 미세 표정 모두가 말의 리듬과 감정적 억양에 동기화됩니다. 파이프라인은 초상 + 오디오 → 동기화된 영상이며, 캔버스에서 비동기 툴 노드로 실행되고 더 긴 스크립트는 나눠 처리합니다. Kling AI Avatar와의 트레이드오프: 발표자의 존재감이 중요할 때(경영진 업데이트, 기조연설 스타일 마케팅, 몸짓 언어가 담긴 UGC 광고)는 OmniHuman이 올바른 선택이며, 얼굴이 화면 전체를 차지하는 밀착된 클로즈업 콘텐츠라면 Kling AI Avatar가 올바른 선택입니다. 다국어 발표자 콘텐츠라면 OmniHuman + ElevenLabs Multilingual v2 + 동일한 상체 초상 조합으로 5개 이상의 언어를 읽으면서도 버전 전체에서 몸짓 언어가 일관된 로컬라이즈 발표자를 만들 수 있습니다. 전체 파이프라인은 Astorie 캔버스에서 실행되며, 함께 보는 `tools/lip-sync` 페이지에서 더 고급 라우팅을 다룹니다.

Use OmniHuman 1.5 on Astorie

Connect OmniHuman 1.5 with other AI models on Astorie's infinite canvas. No GPU required — start free.

Get Started Free

Related features

Docs

Related reading

Try Other Models for This Task

AI로 립싱크하는 방법