메타 뮤즈, 실시간 아바타 영상 통화... 응답 지연 870밀리초

메타가 개인용 AI 에이전트 뮤즈에 실시간 아바타 영상 대화를 붙여 미국 사용자에게 열었습니다. 사용자가 말을 마친 뒤 약 870밀리초 만에 표정과 입 모양, 몸짓이 맞춰진 영상 응답이 시작됩니다. 지난 9월 개발자 행사 메타 커넥트 2026에서 예고했던 기능이 11월 5일(현지시간) 실제 서비스로 나왔습니다.

이 아바타는 카메라로 사용자 얼굴을 읽지 않습니다. 음성과 대화 맥락만으로 반응을 만듭니다. 국내에는 뮤즈 앱 자체가 아직 정식 출시되지 않았습니다. 지금 이 기능을 쓸 수 있는 곳은 미국 사용자입니다.

미국 사용자부터, 모바일과 웹과 맥에서

메타는 뮤즈 리얼타임 보이스와 뮤즈 리얼타임 아바타를 결합한 대화 기능을 미국 사용자에게 제공하기 시작했다고 밝혔습니다. 이용 연령은 만 18세 이상이고, 모바일과 웹, 맥에서 쓸 수 있습니다.

뮤즈는 메타가 개인용 AI 에이전트로 내놓은 앱입니다. 이번 업데이트는 그 앱 안에서 음성 대화와 영상 대화를 하나로 합친 것입니다. 사용자는 텍스트를 입력하는 대신 말을 걸고, 화면 속 아바타가 그 말에 반응하는 장면을 보게 됩니다.

아바타는 사람뿐 아니라 동물, 캐릭터, 사물 형태로도 설정됩니다. 참고 이미지나 영상을 넣으면 그 모습을 유지한 대화형 아바타가 만들어지고, 대화가 이어지는 동안 외형과 동작의 일관성도 유지된다고 메타는 설명했습니다. 같은 아바타가 대화 도중에 다른 얼굴로 바뀌지 않는다는 것이 이 기능의 전제입니다.

확산 120회를 2회로 줄인 증류

영상 생성에는 확산 트랜스포머 기반 모델이 쓰였습니다. 메타는 교사 모델의 확산 과정을 120회 추론에서 2회 추론으로 줄이는 증류 기법을 적용해 속도를 끌어올렸다고 밝혔습니다. 출력은 448×768 세로 영상, 초당 25프레임입니다.

증류는 큰 교사 모델의 출력을 작은 모델이 따라 하게 만드는 방법입니다. 교사 모델과 비교하면 같은 과정을 60분의 1의 추론 횟수로 끝내는 셈입니다. 낮은 해상도와 초당 25프레임도 같은 방향의 선택으로 읽힙니다.

구조는 두 단계로 나뉩니다. 뮤즈 리얼타임 보이스가 말의 내용과 전달 방식을 담은 음성 토큰을 만들고, 아바타 모델이 음성 디코더로 입 모양과 표정을 여기에 맞춥니다. 음성과 영상을 하나의 스트리밍 시스템으로 묶은 것이 이번 구성의 핵심입니다. 음성을 먼저 다 만들고 영상을 나중에 입히는 방식이면 지연이 그만큼 쌓입니다.

448×768에 초당 25프레임은 세로 화면 하나를 스트리밍하는 데 필요한 대역폭과 디코딩 부담을 줄이는 쪽을 택한 구성으로 읽힙니다. 아바타가 대화 상대 역할을 하는 화면이라 인물의 상반신과 얼굴이 프레임을 채우면 되고, 배경과 세부 질감은 상대적으로 덜 중요해집니다.

GB200 한 대에 세션 12개

메타는 엔비디아와 함께 실시간 추론 인프라도 최적화했습니다. 회사에 따르면 GB200 GPU 한 대에서 영상 생성 세션 12개를 동시에 처리할 수 있고, 기준 모델보다 서비스 처리 용량이 8배 늘었습니다. 두 수치는 모두 메타가 밝힌 값입니다.

바꿔 말하면 아바타 대화 한 건이 계속 GPU를 붙잡고 있다는 뜻입니다. 텍스트 챗봇처럼 글자를 띄우는 것과, 매 프레임 영상을 만들어 내보내는 것은 필요한 연산이 다릅니다. 실시간 아바타가 대화형 AI의 기본 인터페이스가 되면 추론 인프라 수요도 영상 쪽으로 옮겨갈 수 있습니다.

확산 기반 모델로 영상을 생성하는 방식입니다. 말의 내용이 바뀌면 표정과 몸짓도 그에 맞춰 달라집니다. 대신 프레임마다 연산이 필요하고, 그 연산을 870밀리초 안에 끝내야 대화로 읽힙니다.

지연 870밀리초는 체감 지연이 네트워크와 기기 환경에 따라 달라질 수 있는 구간입니다. 메타가 2회 추론 증류와 스트리밍 결합을 강조한 이유도 여기에 있습니다. 두 단계를 거쳐 영상을 만들면 아바타가 말을 마칠 때까지 화면이 멈춰 있게 됩니다.

세션 12개라는 숫자는 비용 구조를 가늠하게 합니다. 영상 세션 하나가 GPU 자원을 계속 붙잡는다는 뜻이기 때문입니다. 요금과 호출 한도는 공개된 바 없습니다.

웨어러블과 안경으로 이어지는 경로

메타는 연내 출시할 예정인 AI 웨어러블 기기 뮤즈 참과 AI 안경에도 이 기능을 차례로 넣겠다고 밝혔습니다. 작은 화면에 아바타를 띄워 대화하고 작업을 요청하는 구상입니다. 화면이 작은 기기에서는 세로형 448×768 해상도가 어울리는 구성으로 보입니다.

출시 국가가 넓지 않다는 점은 기능의 완성도와 별개로 봐야 합니다. 실시간 영상 생성은 언어와 억양에 따라 입 모양이 어색해지기 쉬운 영역입니다. 지원 언어와 한국어 품질에 대한 자료가 나오기 전까지는 국내 사용 환경에서의 결과를 예상하기 어렵습니다.

뮤즈는 현재 미국, 캐나다, 일본, 싱가포르 등 일부 국가에서만 서비스됩니다. 국내 출시 일정은 공개되지 않았습니다. 지원 언어별 품질 비교 자료는 아직 나오지 않았습니다.

비디오 씰은 눈에 보이지 않는 형태로 영상에 삽입됩니다. 생성 영상이 어디서 만들어졌는지 추적하고 오용 가능성을 줄이기 위한 장치입니다. 메타는 실시간 속도를 유지하면서 생성 콘텐츠의 출처를 추적하는 것을 이 조치의 목적으로 밝혔습니다.

지금 확인해야 할 것

첫째, 아바타는 사용자 얼굴을 보지 않습니다. 표정 반응은 음성과 대화 맥락에서 추정한 결과이므로, 얼굴 표정에 맞춰 반응하는 기능과는 다릅니다. 둘째, 생성 영상에는 보이지 않는 워터마크 비디오 씰이 들어갑니다. 셋째, 만 18세 이상만 쓸 수 있습니다.

아바타를 사람이 아닌 캐릭터나 사물로 두는 선택지도 실용적인 부분입니다. 브랜드 캐릭터나 안내 도우미를 이미지 한 장으로 만들 수 있다면, 서비스마다 얼굴을 새로 모델링할 필요가 줄어듭니다. 참고 영상으로 움직임까지 정할 수 있다는 설명도 같은 맥락입니다.

카메라를 쓰지 않는 설계는 기기 요구 사항도 낮춥니다. 고성능 카메라와 얼굴 추적이 필요 없고, 화면에 아바타를 띄우는 일만 남습니다. 카메라를 계속 켜 두기 어려운 웨어러블 기기로 확장하려는 계획과 맞물리는 부분입니다.

이번 발표에서 실사용자가 바로 체감할 변화는 대화 상대가 화면 속 캐릭터가 된다는 점입니다. 상담, 교육, 캐릭터 서비스처럼 목소리만으로는 부족했던 자리에 먼저 들어갈 가능성이 큽니다. 다만 지금은 미국 사용자 대상이고, 처리 용량 수치는 회사 발표 기준이라는 점을 함께 두고 봐야 합니다.

원문 보기: 메타, 표정·몸짓으로 대화하는 AI 아바타 출시…실시간 영상 통화 구현

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.