사진 한 장만으로 얼굴 재현 영상 만드는 AI 기술 공개- 하이퍼커넥트
사진 한 장만으로 얼굴 재현 영상 만드는 AI 기술 공개- 하이퍼커넥트
  • 이성주 기자
  • 승인 2019.12.06 19:12
  • 댓글 0
이 기사를 공유합니다

“기존 안면 재현 기술 연구는 구동 시간이 오래 걸리고 데이터가 많이 필요한 모델을 개발해 영상 품질을 높이거나, 모델의 속도를 높이기 위해 영상 품질 손실을 감수하는 방향으로 이뤄져 왔습니다. 본사의 이번 연구는 영상 품질과 구현 속도를 동시에 높일 수 있는 획기적인 접근법을 제시해, 얼굴 재현 기술의 상용화 가능성을 열었다는 데 의의가 있습니다.”(하이퍼커넥트 AI랩 총괄 하성주 디렉터)

영상 기술 기업 하이퍼커넥트(대표 안상일)가 사진 한 장만으로 실제같이 움직이는 얼굴 영상을 만들 수 있는 기술을 구현했다고 밝혔다. 이 기술을 소개한 「MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets」 논문은 인공지능 분야 최고 권위 학회인 미국 인공지능 학회 ‘AAAI(American Association for the Artificial Intelligence)’에도 채택되어 내년 2월 뉴욕에서 열리는 AAAI 2020 학회에서 기술을 선보이게 된다.

하이퍼커넥트 AI랩이 최근 발표한 “마리오네트(MarioNETte)”는 재현하고자 하는 얼굴 사진 한 장(타깃)만 있으면 움직임을 부여하는 얼굴(드라이버)을 그대로 따라 하는 영상을 만들 수 있는 안면 재현(face reenactment) 기술이다. 

기존 안면 재현 기술은 재현하고자 하는 얼굴이 움직임을 부여하는 얼굴의 영향을 받아 변형되는 한계가 있었다. 고품질의 재현 영상을 만들려면 타깃의 얼굴과 윤곽이 비슷한 얼굴만을 드라이버로 사용하거나, 각 타깃의 얼굴에 맞춰 딥러닝 모델을 추가적으로 학습시키는 등의 과정을 거쳐야 하는 탓에 기술 상용화가 어려웠다.

하이퍼커넥트는 이 문제를 해결하기 위해 딥러닝 모델이 드라이버의 얼굴에서 필요한 부분의 정보에만 집중할 수 있는 구조(image attention block)를 도입했다. 또한 얼굴에서 정체성(identity)을 나타내는 정보와 표정 및 움직임을 나타내는 정보를 분리해, 재현하고자 하는 얼굴에 드라이버의 표정 및 움직임 정보만 입히는 기술(landmark transformer)을 고안했다. 이를 통해 재현하고자 하는 얼굴과 움직임을 부여하는 얼굴의 형태가 전혀 다른 경우에도 타깃의 사진 한 장만 있으면 후보정 없이 실시간으로 현실감 있는 얼굴 재현 영상을 만드는 것이 가능해졌다.

하이퍼커넥트는 앞서 10월에 열린 국제 컴퓨터 비전 학회(ICCV 2019)에서 이 기술을 시연해 국내외 딥러닝 전문가들로부터 호평을 받은 바 있으며, 앞으로 이 기술을 모바일 서비스에 바로 적용할 수 있는 수준까지 끌어올린다는 계획이다. 얼굴 재현 기술이 영상 통화, 게임, AR 등 다양한 분야에 활용될 수 있는 만큼, 아자르, 하쿠나 라이브와 같은 하이퍼커넥트의 기존 서비스 개선은 물론 신규 서비스 개발에도 시너지 효과가 있을 것으로 기대된다.


하이퍼커넥트 2014년 설립된 영상 기술 기업. 비디오 커뮤니케이션과 AI 분야에서 실력과 경험을 보유하고 있다. 매출의 95%를 해외 시장에서 거둬들여 국내 스타트업의 대표적인 글로벌 성공 사례로 꼽히고 있으며, 2018년에는 창업 5년 만에 1,045억 원의 매출을 달성하는 성과를 거뒀다. 하이퍼커넥트의 대표 서비스 ‘아자르’는 영상 기반의 소셜 엔터테인먼트 플랫폼으로, 전 세계 230개 국가에서 4억 다운로드를 기록하며 대표적인 글로벌 영상 플랫폼 중 하나로 자리매김했다. 시장조사기관 센서타워가 발표한  “2019년 1분기 구글플레이 비 게임 어플 매출액 순위” 집계에서는 5위를 차지하기도 했다. 자회사를 통해 베타 서비스 중인 소셜 라이브 스트리밍 서비스 ‘하쿠나’ 역시 500만 다운로드, 100만 MAU 돌파 등의 성과를 내며 빠르게 성장중이다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.