오늘은 그 첫번째로 멀티터치 입력기술에 대해 알아보려 합니다. 이 포스팅에서는 2000년 이후 주목받은 세가지 멀티터치 입력 기술의 원리를 중심으로 리뷰해 드립니다.
SmartSkin, 2001
Sony 연구소에 계시는 Jun Rekimoto 의 2001년 연구로 사용자 손을 전기가 흐르고 있는 곳으로 가져갔을 때 생기는 전자기적 변화를 감지해 멀티터치를 인식해 내는 기술입니다. 아래에 보시는 것과 같이 전선을 격자로 배치해 둔 뒤 그 전선에 전기적 파동을 주기적으로 보내게 되고, 수신부에서는 그 전기적 파동의 미세한 변화를 잡아내게 됩니다. 이 변화가 가장 큰 곳을 계산해 냄으로 손의 위치를 추정하게 됩니다.
프로젝터가 천정에 매달려서 아래쪽으로 영상을 쏘는 구조를 통해 아래와 같은 테이블탑 환경을 구축해 낼 수 있었습니다.
Jeff Han's FTIR, 2005
쉽고 싼, 그리고 정확한 멀티터치 기술을 개발하여 주목받은 연구입니다. TED 에서 연구를 발표하여 더욱 유명해 졌었구요.
이 기술의 원리는 FTIR (Frustrated Total Internal Reflection) 이라는 물리적 현상에서 시작합니다. 플라스틱 판 안에 들어간 빛은 계속해서 전반사를 일으키게 되어 바깥으로 빠져나오지 못합니다. 하지만 아래 그림과 같이 사람 손이 플라스틱 표면에 닿게 되면 빛이 산란되어 바깥으로 빠져나오는 빛이 생기게 됩니다. 이것을 멀리 떨어져서 카메라로 찍어보면 사람손이 닿은 부분에서만 동그란 점 (blob) 이 맺혀있는 것을 확인 할 수 있습니다. Jeff Han 의 멀티터치는 이 동그란 점의 위치를 기반하여 멀티터치를 인식하게 됩니다.
ThinSight, 2007
MS Research 의 Bill Buxton 의 연구인데요, 앞에 소개해 드린 두 기술이 가진 문제 - SmartSkin 은 천장으로 부터의 영상이 손에 가려지는 문제와 정확도 문제가 있었고, Jeff Han 의 멀티터치의 경우 카메라 화각을 확보하기 위해 공간이 필요합니다 - 를 해결하기 위해 시작되었습니다.
위 그림에서 보는 것과 같이 LCD 패널과 함께 동작하는 기술로, LCD 뒷면에 아래와 같은 광학적인 센서들을 배치하여 손가락을 감지해 냅니다.
눈에는 보이지 않는 적외선 발광소자와 그 적외선을 감지해 낼 수 있는 센서를 조합하여 LCD 뒷면에 수십개의 센서가 부착됩니다. 작은 카메라가 수십게 달려있는 형태로 생각하셔도 되는데요, 사용자의 손이 가까이 오게 되면 적외선이 반사되는 양이 많아지게 되고 센서는 그것을 감지하게 됩니다. 그렇게 해서 얻은 센서들의 정보를 모아서 아래와 같이 영상처리를 하게 되고, 여기에서 찾은 동그란 점들을 기반으로 손가락 위치를 추정해 냅니다.
결과적으로 노트북 디스플레이에 붙을 수 있을 만큼 크기가 줄어든 멀티터치 입력기술이 가능해졌습니다.
세가지 기술에 대해 살펴보았지만, 사실 이외에도 다양한 멀티터치 기술들이 개발되어 왔습니다. Microsoft Research 에 계시는 Bill Buxton 의 웹페이지에 관련 내용이 잘 정리가 되어 있는데 참고하시기 바랍니다.
다음 연재로는 Natural User Interface 에서 중요한 영역을 차지하고 있는 제스처 인터랙션과 관련한 내용을 다뤄볼 예정입니다. 그럼 평안한 한 주에 되세요!
* 아래에는 본 리뷰를 작성하며 참고한 논문들 입니다:
ThinSight, Microsoft Research Cambridge (UK) http://www.billbuxton.com/UISTthinSight.pdf
