어도비가 주목하는 새 기능은…‘스닉스(Sneaks)’ 맛보기

어도비가 주목하는 새 기능은…‘스닉스(Sneaks)’ 맛보기

2019.11.07

“어떤 그림이든 가능해요. 종이에 그린 낙서도 되고….” ‘스닉스’ 발표를 위해 연단에 선 개발자는 직접 그린 고양이 그림 파일을 불러왔다. 녹음한 음성을 입히자, 낙서가 소리에 입을 맞춰 말하듯 움직였다. JPEG 파일이 순식간에 ‘애니메이션’으로 변신하는 순간이었다. “와.” 관중들의 탄성이 터져 나왔다.

11월5일(현지시간) 미국 로스앤젤레스 LA컨벤션 센터에서 세계 최대 크리에이티브 컨퍼런스 ‘어도비 맥스 2019’가 열렸다.

이 행사의 백미는 ‘어도비 스닉스(Sneaks, 엿보기)’다. 개발자들이 프로젝트격으로 개발 중인 제품을 ‘맛보기’로 공개하는 세션이다. 스닉스에서 큰 호응을 얻은 프로젝트는 어도비에서 정식 개발하기도 한다. 최근 출시된 어도비 프레스코는 스닉스에서 ‘프로젝트 제미니’라는 이름으로 공개된 바 있다. ‘프로젝트 스무스 오퍼레이터’는 어도비 프리미어 프로의 ‘오토 리프레임’ 기능으로 출시 예정이다.

개발 중인 비공식 프로젝트를 공개하는 스닉스 세션은 따로 공개적인 평가가 이루어지지는 않는다. 열린 경연이자 축제의 의미가 짙다. 맛보기뿐인 스닉스가 재미있는 이유다.

“아, 이거 필요했는데…” 스닉스 채운 아이디어들

“미래 기술을 미리 보여드립니다. SNS에 올리고, ‘스포’도 마구 해주세요.” 사회자의 말이 끝나고, 스닉스가 시작됐다. 1만5천여명이 모인 가운데, 개발자들은 차례로 무대에 올라 각 프로젝트를 소개했다. 이날 스닉스에서는 총 11개 프로젝트가 공개됐다.

| 올인 스닉(#AllinSneak)

여행에서 기념사진을 남기고 싶은데 삼각대도 없고, 촬영을 부탁할 행인도 없는 상황을 떠올려 보자. 누군가는 ‘사진사’ 역할을 해야 한다. 한 명은 사진에서 꼭 빠지게 된다는 의미다.

개발자 미나 두로디(Mina Doroudi)는 어도비 센세이 기반으로 포토샵에서 손쉽게 합성하는 기술을 개발했다. 두 장의 사진을 합성할 때 일부 구성원이 겹칠 경우, 알고리즘은 이를 구별해 ‘겹치지 않는’ 피사체만 골라 추가한다.

| 프로젝트 사운드 식(#ProjectSoundSeek)

“진짜 멋지고 새로운, 그리고 오랜 시간 공들인 기술입니다. 떨리네요.” 발표자인 저스틴 살라몬(Justin Salamon)이 긴장한 표정으로 말했다. ‘프로젝트 사운드 식’은 오디오 녹음에서 특정한 소리를 골라 편집해준다. 콘텐츠 제작자라면 솔깃할 만한 기능이다. 녹음본에서 불필요한 소리를 제거하고 싶어도, 지금까지는 전체 녹음을 다 들으며 하나하나 편집해야 했기 때문이다.

저스틴 살라몬은 딥러닝 모델을 통해 같은 소리를 단박에 찾아내 소거할 수 있다고 말했다. 하나의 소리만 선택해도, 같은 파형이 전부 선택된다는 것이다. 모든 언어에 적용 가능하며 자동차 경적 소리 등도 골라낼 수 있다고 덧붙였다. 사회자는 “포토샵의 ‘마법봉’ 도구가 오디오에 적용된 것”이라고 간단히 설명했다.

예) 안녕하십니까. 어…. 오늘 제가…. 어…. 하고 싶은 말은…. -> 안녕하십니까. 오늘 제가 하고 싶은 말은.

| 스위트 토크 스닉(#SWEETTALKSNEAK)

앞서 소개한 프로젝트다. 스위트 토크 스닉은 2D 캐릭터에 생명을 불어 넣어, ‘자동 립싱크’를 구현한다.

기존에는 복잡한 레이어 작업을 거쳐야 했지만 스위트 토크 스닉은 단순하다. 음성을 먼저 녹음하고, 그림에 연동하면 그림이 소리에 맞춰 자동으로 입을 움직이는 식이다. 명화, 애니메이션, 스케치, 2D 캐릭터 등 폭넓은 활용이 가능하다.

딩즈유 리(Dingzeyu Li) 개발자는 애니메이션을 만들 때 캐릭터의 입 모양과 말 소리를 맞추기 어렵다는 점에 착안해 이 같은 프로젝트를 선보였다고 밝혔다. “AI 알고리즘이 오디오를 분석하고 움직임을 예측한다. 이를 통해 자연스러운 표정과 동작을 구사하게 만들어 준다”라고 설명했다.

| 프로젝트 프론토(#ProjectPronto)

증강현실(AR) 콘텐츠를 만드는 프로그램이다. 비개발자도 AR 디자인을 간편하게 AR 공간에 옮겨, 동영상으로 AR 관련 아이디어를 프로토타입으로 구현할 수 있도록 도와준다.

쿠옹 구옌(Cuong Nguyen) 개발자는 “애니메이션을 적용하고 싶을 때 설명하기 어려울 때가 있다. 애프터 이펙트로 표현하기도, 말로 설명하기도 어렵다”라며 “프로젝트 토론토는 디자인 아이디어를 AR에 추가할 수 있다”라고 설명했다.

| 이미지 탱고(#ImageTango)

여러 이미지를 합쳐, 하나의 모양에 다른 하나의 질감을 합친 새로운 형상을 만들어 내는 프로젝트다. 만약 특정 패턴이 새겨진 가방을 다른 소재로 제작했을 때 어떤 느낌인지 알고 싶다면, 이미지 탱고에 사진을 넣으면 된다. 클릭 한번으로 특정 패턴의, 소재가 다양한 가방을 볼 수 있다.

개발자 군잔 아가왈(Gunjan Aggarwal)은 “새를 만들어 보겠다”라며 새 그림에 실제 새의 사진을 합쳐 보였다. 그러자 그림처럼 생겼지만 실제 새의 깃털과 색깔을 한 새가 만들어졌다. 이미지 탱고 시연을 본 사회자는 “미래가 급격히 다가와 버렸다”라며 칭찬을 아끼지 않았다.

| 판타스틱 폰트(#FantasticFonts)

글꼴을 다양한 형태로 표현한다. 각 알파벳의 크기나 모양을 자유자재로 변형할 수 있고, 특히 ‘불타는’, ‘녹아 내리는’, ‘흔들리는’ 등의 다양한 애니메이션 효과를 적용할 수 있다.

텍스트에 이 같은 효과를 적용하려면 기존에는 애니메이션 키 프레임으로 변환하는 과정을 거쳐야 했다. 폰트를 좋아해 이 프로젝트를 고안했다는 너말 쿠마왓(Nirmal Kumawat) 개발자는 “SNS에도 쉽게 공유할 수 있다”라며 “디자이너에게 도움이 될 것”이라고 말했다.

| 고 피규어 스닉(#GoFigureSneak)

“애프터 이펙트 초보자들이라면 시간을 대폭 절약할 수 있을 겁니다.” 프로젝트 고 피규어는 모션 트래킹을 획기적으로 손쉽게 만들었다. 기존에는 애프터 이펙트에서 2D 캐릭터에 동작 추적을 적용하려면 추적점(track point)를 일일이 지정해야 했다. 어도비 센세이 기반의 프로젝트 고 피규어는 동영상만 있으면 사람의 움직임을 그대로 본 따 이미지에 적용할 수 있다. 복잡한 장면에서도 매끄러운 동작 추적이 가능하다는 의미다. 2D 캐릭터를 움직일 때 유용하다.

이 프로젝트를 개발한 지메이 양(Jimei Yang)은 “스마트폰으로 촬영한 동영상에서도 가능하다. 얼굴, 머리, 다리 등 추적점을 마스킹해, 이를 2D 캐릭터와 연동하면 된다”라고 설명했다.

| 라이트라이트스닉(#lightRightsneak)
AI로 조명의 각도를 바꾸는 기술이다. 야외사진은 해의 방향에 크게 영향을 받는다. 시간대에 따라 사진의 느낌도 달라진다. 빛을 받는 곳과 그늘진 곳이 다르기 때문이다.

이 기술은 사진을 3D 형상으로 분석해 빛의 위치, 건축물의 구조 등을 파악하면 조명을 자유자재로 바꿔준다. 오전에 찍어도 마치 오후에 찍은 듯한 그림자를 연출할 수 있다는 의미다.

| 프로젝트 어섬 오디오(#PROJECTAWESOMEAUDIO)

개발자 즈유 진(Zeyu Zin)은 인턴 시절부터 스닉스에 참가했다. 이번이 세 번째 스닉스 발표다. 어섬 오디오는 말 그대로 ‘어섬(awesome)’했다. 녹음 상태가 좋지 않아도, AI 기술을 통해 전문적인 수준의 녹음처럼 변환해준다.

예를 들어 녹음이 제대로 되지 않아 잡음이 깔려 있어도 버튼 하나만 누르면 소거가 가능하다. 즈유 진은 “마이크를 연결하지 않고 녹음을 해도 잡음이 다 사라진다”라고 말했다. 이에 사회자는 “환상적이다”라며 기술의 직관성에 감탄했다.

| 프로젝트 글로우스틱(#ProjectGlowstick)

일러스트레이터에서 간단하게 빛을 표현하는 방법을 개발했다. 검은 색의 화면 아래쪽에 글로우 스틱을 적용하면 마치 하단에서 빛이 뿜어져 나오는 듯한 연출이 가능하다. 각 물체의 그림자를 자연스럽게 표현할 수도 있다. 개발자 잭업 피서(Jackup Fiser)는 “아티스트 감성을 살려 보겠다”라며 현장에서 배경을 바꾸며 글로우 스틱을 선보여 박수를 받았다.

| 프로젝트 어바웃 페이스(#Projectaboutface)

기술이 발전하면서 딥페이크(Deepfake) 등 현실과 구별하기 어려운 가짜 동영상이나 사진 등이 늘고 있다. 이 때문에 전세계적으로 가짜정보에 대한 위기감이 조성되는 추세다. 때맞춰 머신러닝을 통해 이미지의 훼손도를 알아내는 도구가 등장했다.

프로젝트 어바웃 페이스는 콘텐츠의 ‘진위’ 여부를 확인한다. 개발자 리차드 장(Richard Zhang)은 “육안으로는 보이지 않지만, AI는 이를 찾아낼 수 있다”라며 사진을 즉석에서 포토샵으로 매만졌다. 이를 어바웃 페이스에 옮기자, “원본이 100% 아니다”라는 문구가 떴다. 리차드 장은 어떤 부분이 훼손되었는지 확인하고, ‘원본’ 형태로 사진을 복구할 수도 있다고 설명했다. “머신러닝으로 모든 것을 되돌릴 수 있습니다.”

Tag

• 스닉스
• 애프터 이펙트
• 어도비
• 어도비 맥스 2019
• 크리에이터
• 포토샵
• 프리미어

김인경

shippo@bloter.net

 

네이버 기자 페이지 구독하기 +