딥마인드 Genie 4, 실시간 조종·물리·소리·추론을 갖춘 월드 모델 공개
딥마인드의 차세대 월드 모델 Genie 4가 실시간 조종, 물리 현상, 사람의 행동, 소리 생성, Gemini 기반 추론 등에서 어떤 변화를 보였는지 소개하는 글입니다.
한눈에 보기
- 걸으면서 글로 지시를 넣으면 날씨·카메라·등장 인물과 물체가 실시간으로 바뀝니다.
- 물리 현상과 사람의 움직임을 그려 내며, 딥마인드는 사람 부분을 가장 큰 도약으로 꼽았습니다.
- 소리를 직접 생성하는 첫 실시간 월드 모델이라고 소개되었고, Gemini 3.8 Flash가 장면을 보며 계획을 세우고 확인합니다.
주요 내용
실시간 조종: WASD와 방향키로 걷고 카메라를 돌리는 중간에 글로 지시를 넣으면 세계가 바로 바뀝니다. 영상에서는 호숫가에서 색소폰을 부는 남성 뒤로 고래 꼬리를 올리라고 하자 물 위로 꼬리가 솟았고, 눈을 내려 달라고 하자 연주자의 어깨에 눈이 쌓였습니다. Gemini가 지시를 주변 장면에 맞게 고쳐 넣고, 입력이 없는 동안에도 세계가 자연스럽게 이어지도록 조정한다고 합니다.
물리와 사람: Genie 4는 공기 흐름이나 충돌 같은 물리 현상을 그려 냅니다. 수박 위에 대리석 흉상을 떨어뜨리자 수박이 터지고 과즙이 튀는 장면까지 이어졌습니다. 1980년대 일본 시골 기차역 장면에서는 승객 수십 명이 각자 걷고, 기다리고, 짐을 들고 기차에 올랐습니다. 인물들은 주변에 반응하며 움직이고, 사용자가 실시간으로 행동을 바꿀 수도 있습니다.
소리: 바람이나 파도 같은 배경 소리가 세계와 함께 만들어지며, 공개 영상의 소리도 모두 Genie 4가 생성했습니다. 1995년 홍콩 영화풍으로 오토바이를 탄 연인은 대화를 주고받고, 용을 타고 성을 지날 때는 불덩이와 화살 소리가 상황에 맞춰 나옵니다. 인물이 사용자의 입력이나 세계의 사건에 반응해 실시간으로 말한다는 점이 이전 버전과 가장 큰 차이입니다.
Gemini의 추론: Genie 4가 세계를 그리는 동안 Gemini 3.8 Flash가 장면을 계속 지켜봅니다. 목표를 여러 단계로 나누고, 새 프레임을 보며 각 단계가 제대로 됐는지 확인한 뒤 다음으로 넘어갑니다. 영상 오른쪽 위 '추론 단계' 창에서 이 과정을 볼 수 있습니다. 지팡이를 휘두르자 공작이 고양이로, 다시 라디오 시계로 바뀌었고, Gemini는 변신이 끝난 것을 확인한 뒤 다음 연출로 넘어갑니다. 세계가 예상과 달라지면 계획도 바로 고칩니다.
이렇게 활용해 보세요
- 장면을 만들면서 날씨, 카메라, 등장 요소를 글로 바꿔 보며 연출 아이디어를 빠르게 시험해 볼 수 있습니다.
- 물리 반응과 사람의 행동, 배경 소리가 함께 생성되는 점을 활용해 영상 기획이나 장면 스케치 초안을 만들 수 있습니다.
- '추론 단계' 창에서 목표가 나뉘고 확인되는 과정을 살펴보면, 여러 단계로 이루어진 작업을 설계하는 참고가 됩니다.
출처
출처 링크가 전달되지 않았습니다.