第一情报 ---信息产业

多点触控关键技术

供稿人:柳贺  供稿时间:2011-10-11   关键字:多点触控  Multi-touch  
多点触控(Multi-touch或Multitouch,又称多重触控)允许计算机用户同时通过多个手指来控制图形界面。多点触控技术的研究最早可追溯到1982年多伦多大学的Nimish Mehta利用毛玻璃构建的弹性交互接口,之后多点触控技术引起了国内外学术界和工业界的广泛关注,得到迅速的发展,但是仍然存在不少问题亟待解决。只有解决这些问题,才能真正地将这种以用户为中心的自然高效的交互方式推向广泛应用。
 
多点触控技术由硬件和软件两部分组成,如图1所示。硬件就是多点触控平台,完成信号的采集;软件部分是在硬件平台采集数据基础上进行触点的检测定位、跟踪、手势定义与识别,最后将识别出的手势映射为面向具体应用的用户指令。其中身份识别技术贯串整个软件实现过程。
 
图1  多点触控技术的关键技术
 

硬件平台

目前,多点触控的硬件平台有电容式、红外式、受抑全内反射(frustrated total internal reflection,FTIR)式、散射照明(Diffused Illumination,DI)式、激光平面(Laser Light Plane,LLP)式、散射式表明照明(Diffused Surface Illumination,DSI)式、发光二极管平面多点触摸技术(LED Light Plane,LED-LP)等技术。每种技术都有其优缺点,基于现有的多点触控平台存在的各种优点和缺陷,有助于研制成本更加低廉、安装移植更加方便、定位更加精确的交互式平台,以及与此平台无关的其他交互式技术。

遮挡分析

现有多点触控平台中,基于电容耦合电流或者基于红外的多触点检测的精度取决于传感器阵列的密度;而基于FTIR和多摄像头等检测方法都是基于计算机视觉技术的,如何完整地分割出触点轮廓进而实现触点的检测和定位本身就是计算机视觉技术领域的难点。

触点检测

多点触控平台在检测和定位出多个触点后,还需要对每个触点进行跟踪,记录每个触点的轨迹信息,再作基于轨迹的动态手势识别,才能实现基于手势的自由交互。多重触控平台所检测出的目标大都没有颜色和纹理特征,形状特征也相似,因此传统的基于图像特征的多目标跟踪方法不再适用。将主要根据触点的运动轨迹信息如用户手指运动的先验知识进行运动估计,此外还需充分利用多摄像头的物理位置关系约束对多摄像头进行一致性标记,从而实现多摄像头多目标的跟踪。研究内容包括同一传感器前后采样时间检测到的多目标之间的一致性标记,以及不同传感器之间多目标之间的一致性标记。

手势定义

多点触控技术最大的优点就是能实现基于手势的自由交互,手势定义是其中的关键基础。实际应用中用户的手势与应用背景是紧密相关的,所以在强调通用性的同时也应重视应用的导向作用。手势的定义过程应当首先提取用户意图,即在特定的应用环境下用户想要完成何种语义功能,然后确定用户要实现的功能通过何种手势来完成,并将手势分解为多个原子手势的组合,最终用户的一个意图被转换为一系列原子手势在特定关系下的组合。

手势识别

多点触控系统中的手势识别是基于触点运动轨迹的动态手势识别,其中动态手势对应着模型参数空间里的一条轨迹,涉及时间上下文和空间上下文,且不同用户做手势时存在的速率差异、熟练程度会在轨迹的时间轴上引起非线性波动。如何消除这些非线性波动是动态手势识别技术必须克服的一个重要问题。
 
考虑到对时间轴的不同处理,现有的动态手势识别技术可以分归三类:基于隐马尔可夫模型(Hidden Markov Models, HMM)的识别、基于动态时间规整(Dynamic Time Warping, DTW)的识别、基于压缩时间轴的识别。

身份识别

现有多点触控技术检测到的触点大都不携带用户信息,目前已知HTC的Diamond Touch平台也最多只能识别四个用户,而且多重触控技术未来的一个重要应用模式将是大尺寸交互区上多用户的协同。因此必须实现触点的用户身份识别,而且除了识别触点来源于某个用户外,有些应用还需要识别触点来源于用户的哪只手,这是多点触控技术最难解决的问题。

参考文献:

[1] Rong Chang, Feng Wang, Pengfei You. A Survey on the Development of Multi-touch Technology[C]. 2010 Asia-Pacific Conference on Wearable Computing Systems. 2010:363-366
[2] 王德鑫, 张茂军, 熊志辉. 多重触控技术研究综述[J]. 计算机应用研究. 2009,26(7):2404-2406,2410
 

相关TAG 
多点触控关键技术2011-10-11

注册成为正式用户,登陆后,获得更多阅读功能与服务!
转载本文需经本平台书面授权,并注明出处:上海情报服务平台www.istis.sh.cn
了解更多信息,请联系我们

§ 请为这篇文章打分(5分为最好)