- 마우스/터치 스크린등을 이용해 디스플레이의 물체를 Direct manipulation 할 수 있게 된 것
- 멀티터치 입력 장치를 통해 두 손/여러손가락을 동시에 사용해 인터랙션 할 수 있게 된 것
- 온 몸을 사용하는 인터랙션 (whole-body interaction) 을 할 수 있게 된 것
팔 근육을 이용한 제스처 입력
이 연구는 팔에 근육의 변화를 감지할 수 있는 EMG (Electromyography, 근육이 움질일 때 발생하는 미세한 전기신호를 감지하는 기술입니다) 센서를 이용해 손가락의 움직임을 감지하고 그것을 기기 조작에 응용가능하게 하는 인터랙션에 대한 연구입니다. 예를 들어, 조깅을 하고 있을 때 음악 플레이어를 조작하는 상황을 가정해 보면 뛰는 것을 멈추지 않은 채 지정된 몇가지 손가락 제스처를 이용해 플레이어를 조작해 낼 수 있습니다. 아래 동영상을 보시면 자세한 내용 확인 하실 수 있습니다.
방향감지가 가능한 모바일 기기를 활용한 가상 책장 시스템
모바일 기기에서 좀 더 빠르고 손쉬운 입력을 위해 몸 주변의 가상책장 개념을 도입한 연구입니다.작은 디스플레이를 보며 버튼을 누르는 식의 전형적인 입력방식에서 벗어나 몸 주변에 가상의 책장 (혹은 아이콘) 이 있다 가정하고, 그것을 모바일 기기로 가리키는 것으로 입력을 가능하게 하고 있습니다. 상하좌우에 대한 방향을 감지해 낼 수 있는 모바일 기기를 활용할 수 있을 것이구요, 이 연구에서는 6 개의 카메라와 휴대폰에 붙은 마커를 활용하는 영상처리 방식으로 방향을 감지 하였습니다. 방향감지 방법에 개선할 여지가 많이 있어 보이지만, 제스처 인터랙션을 활용해 몸 주변으로 인터랙션영역을 확장하는 어플리케이션을 제시하였다는데 의미가 있는 연구입니다.
혀의 움직임을 컴퓨터 입력에 활용하기
처음에 보고 매우 놀랐던 연구입니다. 전신마비 장애인들의 입력장치로는 기존 eye-tracking 이나 음성인식쪽 연구가 많았었는데 이 연구에서는 혀의 움직임 또한 좋은 대안이 될 수 있다 보았습니다. 그래서 아래 그림과 같은 프로토타입을 만들고 혀의 제스처를 인식하는 시스템을 개발하였습니다. 아래 프로토타입은 비장애인을 포함한 사용자들이 실제 입에 장착할 수 있도록 제작되었다고 합니다. 센서는 광학식 거리센서의 한종류로 저번에 리뷰해 드린 멀티터치 입력기술 소개의 ThinSight 에서 사용되었던 센서입니다. 네가지 간단한 제스처를 인식할 수 있는 시스템을 개발했고, 정확도는 90% 이상 나왔다고 하네요. 프로토타입 다음에 나오는 그림은 혀 제스처를 이용해 실험참여자에게 테트리스도 해 볼 수 있도록 하였네요. 장애인들을 위해 여러 장치에 응용될 수 있을것으로 생각됩니다.
세 가지 최신의 제스처 인터랙션 연구들을 살펴보았습니다. 아직 NUI 를 비롯한 제스처 인터랙션 연구가 시작단계이긴 하지만 대부분의 연구가 대안적인 용도로만 제안되어 온 것이 아쉽습니다. 일반 사용자들의 생활 속에 좀 더 스며들 수 있는 인터랙션이 연구되어야 할 것이라 봅니다. 이를 위해서는 사용자의 생활속에서 제스처 인터랙션이 필요한 구체적인 상황과 니즈를 정확히 파악하고, 간편하고 직관적인 인터랙션의 제안, 그리고 그것을 안정적으로 인식해 내는 시스템 개발이 동반되어야 할 것입니다. 마지막으로, 아래에는 그 동안 제가 UX Factory 에 리뷰한 연구중에 제스처 인터랙션에 관한 것들을 모아보았습니다:
