현실공간과 가상공간을 하나로 통합한다.

구글 글래스, 헤드 마운트 디스플레이(HMD), 3D TV, 홀로그램 디스플레이 등의 등장은 3차원 디스플레이 및 웨어러블(wearable) 디스플레이를 활용한 새로운 생활과 산업 생태계의 출현을 예고하고 있다. 이러한 3차원 또는 웨어러블 디스플레이 장치가 대중화되면 오랫동안 사용해온 키보드나 마우스 같은 장치는 더 이상 찾아보기 어려울 것으로 보인다. 앞으로는 허공에서 글씨를 쓰거나 그림을 그려 정보를 입력하고, 허공에 떠있는 3차원 정보들을 손으로 터치하거나 잡아서 옮기며, 손으로 촉감을 느끼면서 정보들을 만질 수 있는 새로운 개념의 휴먼 인터페이스 장치가 나타날 것이다. 여기에는 사람의 동작 의도를 미리 감지하는 인터페이스는 물론 시각•청각•촉감•역감•운동감 등과 같은 감각을 표현함으로써 사용자에게 실제처럼 전달할 수 있는, 즉 양방향 소통이 가능한 휴먼 인터페이스가 필수적이다.

현실공간과 가상공간이 하나의 공간으로 통합되는 시대에 사용자의 동작이나 의도를 인식•감지하고, 사용자들이 3차원 시각•입체 음향•촉감•역감 등 다양한 감각을 느낄 수 있도록 표현하고 전달할 수 있는 웨어러블 사용자 인터페이스를 ‘실감교류 인체감응솔루션’이라 한다. 여기에는 이를 사용하기 위한 interaction 소프트웨어, 사용자와 환경을 이해하고 사용자 간 원활한 소통을 지원하기 위한 다양한 하드웨어 및 소프트웨어 프레임워크 등도 해당한다.

특히, 이러한 인체감응솔루션을 사용함으로써 사용자가 있는 현실공간, 다양한 가상 정보들이 존재하는 가상공간, 네트워크로 연결된 사용자가 존재하는 원격(현실) 공간 등을 하나로 연결한 실감교류 인체감응 확장공간 실현이 가능해진다. 즉, 네트워크로 연결된 다수의 사용자들이 서로 한 공간에 함께 있는 것처럼 서로 정보와 오감(五感)을 실시간으로 소통하고 공유하면서 함께 대화하고 공부하거나 협업하는 것이 가능하고 의사에게 진료도 받을 수 있는 새로운 공간이 열릴 것이다. 한마디로 시공간의 한계를 극복한 새로운 가치공간이 열리는 것이다.

미래의 원격 화상회의 모습을 그려보자. 고정된 방향에서 상대방의 2차원 영상을 보며 음성대화를 나누는 단계에서 벗어나 3차원 영상을 어느 방향에서 보든 입체음향으로 대화하며 협업에 필요한 3차원 정보들을 손으로 직접 만지고 조작하며 회의하는 것이 가능해질 것이다. 또한, 현재는 카카오톡이나 페이스북으로 문자•사진•동영상 등을 입력하며 타인과 소통하지만 인체감응솔루션이 등장하면 그 모습에도 변화가 생길 것이다. 입체 영상•입체 음향으로 대화하며 가상의 정보들을 실제로 만지는 것처럼 느끼면서 소통하는, 즉 4D+ 감각을 지원하는 SNS가 가능해지는 것이다.

최근 국내에 소개된 휴먼 인터페이스에는 허공에 글자를 쓰거나 그림을 그릴 수 있는 Air Writing 기술, 인체의 근육에서 발생하는 근전도 신호를 사용하여 사용자의 운동 의도와 상태를 인식할 수 있는 sEMG 휴먼 인터페이스 기술, 사용자의 손에 물건을 쥐어보는 역감을 전달할 수 있는 착용형 역감 글러브 등이 있다.

우리가 노트나 종이에 글자를 쓰는 것을 잘 관찰해보자. 펜과 종이가 닿았을 때 글자가 쓰이며 펜의 위치를 옮길 때는 종이에 닿지 않도록 펜을 떼어서 위치를 옮긴다. 그리곤 다시 펜을 종이에 닿게 한 후 글자를 쓴다. 하지만, 허공에서는 이처럼 펜이 종이에 닿거나 닿지 않았다는 느낌을 줄 수 없다. 글자를 쓸 노트가 허공에는 없기 때문이다.

그래서 개발된 기술이 Air Writing이다. 허공에 가상 칠판(화이트보드)을 두어 손가락 끝이 가상 칠판에 닿으면 글자를 쓰고 가상 칠판에서 손가락을 뗀 후 이동하고, 다시 가상 칠판에 닿은 후 다음 글자를 쓰도록 하는 원리를 적용한 것이다. 이는 손가락이 가상 칠판에 닿았는지를 판단하기 위한 3차원 위치추적 기술, 사용자에게 진동감을 전달해주는 진동반지, 이를 활용한 interaction 방법론 등으로 구성된다. 가상칠판에 손가락이 닿으면 반지가 진동하여 사용자가 진동을 느낄 수 있도록 하고, 떨어지면 진동을 중단하여 사용자가 진동감을 느끼지 않도록 한 것이다. 이 장치를 사용하면 노트에 글자를 쓸 때와 매우 흡사하게 허공에 글자를 쓸 수 있게 된다.

올해 초 미국 Logbar사와 Nod사에서 6-DOF 혹은 3-DOF 관성센서(IMU)를 사용한 반지형 장치가 소개됐다. 비록 한붓그리기 글자 입력만이 가능하고 사용시간이 매우 짧다는 단점이 있지만 스타트업(Start-up) 제품으로서 의미가 있다고 할 수 있다.

이 기술은 인체 피부에 접촉하여 근육의 운동을 전기적 신호로 읽어 들이는 캡처링 전극과 신호 처리부로 구성된 기본 센서모듈로 이루어져 있다. 사람이 손가락을 움직이면 팔뚝의 근육들이 움직이는데, 이때 이 센서모듈이 근육의 움직임을 감지하여 사람의 동작 상태를 인식한다.

장치는 8개의 기본 센서모듈을 팔뚝에 감아서 착용하는 방식으로 개발됐다. 근육운동에 따른 센서모듈의 불규칙적인 위치이동과 사용자마다 달라지는 근전도 신호의 특성 등에 대응하여 동작하도록 만들어졌다. 또한, sEMG 휴먼 인터페이스는 사용 전 3~5가지 기본동작에 대한 학습과정을 거쳐 10~12가지 손동작을 인식할 수 있다. 특히, 근전도 신호는 실제로 인체가 움직이기 30msec 전부터 읽을 수 있어 관성센서와 달리 인체의 운동 의도를 미리 인식하는 것이 가능하다. 이러한 특성으로 인해 근력보조기기, 바이오닉스, 원격제어 로봇 등의 제어와 구동에 이 기술을 사용할 수 있다. 이 기술은 국내에서 개발이 진행 중이던 작년 초, 미국 Myo사에서 팔뚝에 센서를 장착하여 컴퓨터는 물론 다양한 로봇을 제어할 수 있는 새로운 장치에 대한 동영상을 제작해 발표했다. 그러나 아직 본격적인 판매는 이루어지지 않고 있다.

이 신기술은 우리 손의 근골격 구조 및 기구학적 분석을 통한 외골격 구조에 바탕을 두고 설계되었다. 각 손가락의 3-DOF 운동과 운동각을 보장할 수 있는 외골격 구조로, 밀고 당기는 양방향의 힘을 전달할 수 있고 손가락의 운동량을 캡처링 할 수 있다. 특히, 위치 제어를 통해 손끝의 강성을 제어할 수 있도록 리니어 액추에이터를 사용한 새로운 구조로 개발되었다. Cyberglove Systems사의 Cybergrasp와 달리 소형 경량이며 별도의 외부시스템 없이 손목부분에 탑재된 제어 시스템으로 구동된다. 이를 착용하고 3차원 영상으로 디스플레이 된 공과 같은 삼차원 물체를 만지면 이 장치가 물체의 강성과 그에 따른 반발력에 따라 역감을 표현함으로써 공의 탄력을 현실감 있게 사용자에게 전달하게 된다.

이와 같은 실감교류 인체감응솔루션은 단기적으로는 구글 글래스, 헤드 마운트 디스플레이와 같은 웨어러블 디스플레이 장치를 위한 새로운 사용자 인터페이스 장치로 사용될 수 있을 것이다. 또한, 3D TV를 통한 다양한 응용분야에도 사용될 수 있을 것이다. 장기적으로는 서로 떨어져 있는 원격 사용자들이 마치 한 곳에 모여 있는 것처럼 함께 소통하고, 정보(자료)를 공유하며, 토론하고 학습하고 문제를 해소하는 등의 다양한 응용분야에 사용될 것이다.

지방 학생들도 서울 학생들과 같은 교실에 있는 것처럼 선생님의 강의를 함께 듣고 가상 정보들을 주고받으며 학습하는 4D+ 실감 스마트 교실, 사내에 있는 직원•출장 중인 직원•현장에 있는 직원들이 함께 모여 필요한 자료를 공유하고 토론하며 해결책을 찾는 4D+ 실감 스마트 워크(Work), 지방에 있는 노약자 혹은 환자들과 도시에 있는 의사들이 한곳에 있는 것처럼 진료하는 4D+ 실감 원격진료 등의 분야에 이 기술들이 다양하게 사용될 것으로 전망된다.