第一情报 ---信息产业

移动设备上的3D空间触控系统

供稿人:田丰  供稿时间:2014-3-24   关键字:空间触控  光学传感器  
国家高技术研究发展计划(863计划)2015年度项目申报指南已把真三维视频关键技术列入研究计划,预示我国计划推广三维电视系统。在三维电视系统中,三维影像实时获取、实时合成和高效压缩是其中信息处理单元的关键技术,而针对三维电视的便携交互技术是增加观众用户体验的关键一环。移动设备已是网络电视的最主要媒介,而未来的三维移动平台更是三维电视的最重要组成部分。台湾交通大学三维交互课题组针对移动三维平台开发了空间交互新系统和新应用。此技术大大提升了移动三维平台交互性,是三维电视领域的重要创新。
 
触控系统是用户和计算机之间的接口。目前大多数的显示器局限于用二轴(x和y)来定位对象[1]。二轴不能支持三维显示[2-5]或其他三维交互式应用程序。许多方法和设备已被用于实现3D交互性,如WorldViz PPT(精确定位追踪)[6],Wii等。然而,这些技术都不适用于移动三维显示应用。移动3D显示器对直观、友好的3D虚拟触控提出了更高的要求。
 
目前的3D交互装置主要有机械和视觉两种类型。机械装置[7]需要附加额外的设备来检测运动,并且可以为使用者提供振动反馈。然而,此系统需要连接沉重的附加设备,其使用并不方便。在基于相机的系统中[8-12],物体的3轴信息可以用各种方法计算得到。例如,当下流行的Kinect [13]可以通过用两个红外(IR)摄像机拍摄同一固定红外光源来检测和分析光源相对应的3轴位置。然而,这种基于相机的系统,需要高分辨率图像来计算3轴位置,并且分辨率与相机传感器的尺寸成正比。因此,如何将该系统集成到便携移动设备中去成为难题。近期,旧金山名为“Leap Motion”的组织提出的3D运动控制系统,成为一大突破。然而,Leap Motion技术仍然需要小型装置,不适合与移动三维电视集成。
 
如图1所示,基于视觉的触控系统通常被其视野所限制,会造成连续的交互空间内盲区,无法检测与三维显示屏面接近的物体,同时也增加了便携设备的体积。

图1 (a)单相机系统(b)多相机系统
 
如图2所示,3D空间触控面板由显示面板、嵌入式光纤传感器、红外(IR )背光源和角扫描辐射源组成合。

图2 3D空间触控面板结构
 
如图3(a)所示,通过红外指尖反射来计算指尖2轴(x和y)位置;如图3(b)所示,通过放置红外角扫描装置在面板两侧来计算指尖的深度位置(z)。

图3 (a) 红外背光照明模式(用于x轴和y轴确定)(b)红外角扫描模式(用于Z轴确定)
 
传统的图像捕捉技术过分依赖环境照度。而台湾交通大学采用嵌入红外传感器和光源,使该模块能在各种环境条件下操作。首先,检索嵌入式光学传感器中的原始数据。为了抑制环境噪声和系统噪声,还包含背景噪声抑制器。其次,累积红外背光源捕捉的图像亮度。当亮度累积值大于触摸阈值,触控对象将被检测到,确定触摸点的2轴(x和y)位置。最后,如果(亮度累计值)小于阈值,说明对象悬浮于面板上方,“分区算法”将计算该物体的深度(z)信息。
 
图4表述3D空间触控系统的完整工作过程。红外背光和红外角扫描辐射器与嵌入式光学传感器同步。在第一检测帧(第0帧)中,红外背光将两次通过面板,并由光学传感器捕捉反射光,确定指尖的2D位置(x和y)。然后,在面板两侧的红外角扫描辐射器依次发射不同倾角光。感应帧(第1帧到第n帧)关联对应的倾斜角度。最后,识别具有最大反射率的扫描角度,由2轴(x和y)的位置和扫描角,计算指尖深度(z)。

图4. 基于两个角度的扫描的光学3D空间触控系统时序图
 
计算指尖2轴(x和y)位置时,台湾交通大学提出的全搜索方法用来分析反射红外背光图像。全搜索方法使用了一个滤波器,从图像中各点反射光的强度确定具有最高累积强度的点位置。3D空间触控系统采用了红外传感器阵列,传感器的分辨率为68×120,为实施所提出的新概念,用高准直光和扫描反射镜来模拟连续照明光源。图5为3D空间触控系统的概念图。

图5. 3D空间触控系统
 
综上所述,通过向显示屏的像素中嵌入光学传感器并在其边缘加入角扫描辐射器,三维移动装置可以感知大多数环境条件下指尖反射的图像。感测到的图像被用于计算指尖的3轴(X,Y,Z)位置,其过程不需要通过复杂的图像处理。对于接触和与移动显示屏上的浮动3D影像互动来说,台湾交通大学提出的方法是一种3D触控的新技术。
参考文献
[1] A. D. Wilson, “Playanywhere: A compact interactive tabletop projection-vision system,” in Proc. 18th Annu. ACM Symp. User Interface Software Technol., 2005, pp. 83–92.
[2] J. Y. Son, B. Javidi, S. Yano, and K. H. Choi, “Recent developments in 3-D imaging technologies,” J. Display Technol., vol. 6, no. 10, pp.304–403, Oct. 2010.
[3] Y. Takaki, “Multi-view 3D display employing a flat-panel display with slanted pixel arrangement,” J. Soc. Inf. Display, vol. 18, no. 7, pp.476–482, 2010.
[4] Y. P. Huang, C.W. Chen, and Y. C. Huang, “Superzone Fresnel liquid crystal lens for temporal scanning auto-stereoscopic display,” J. Display Technol., vol. 8, no. 11, pp. 650–655, Nov. 2012.
[5] Y. P. Huang, L. Y. Liao, and C. W. Chen, “2D/3D switchable autostereoscopic display with multi-electrically driven liquid crystal
(MeD-LC) lenses,” J. Soc. Inf. Display, vol. 18, no. 9, pp. 642–646,2010.
[6] G. Welch and E. Foxlin, “Motion tracking: No silver bullet, but a respectable arsenal,” Comput. Graph. Appl., vol. 22, no. 6, pp. 24–38,2002.
[7] S. Feiner, B. Maclntyre, T. Hollerer, and A. Webster, “A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment,” in Proc. 1st IEEE Int. Symp. Wearable Comput., 1997, pp. 74–81.
[8] A. D. Wilson, “TouchLight: An imaging touch screen and display for gesture-based interaction,” in Proc. 6th Int. Conf. Multimodal Interfaces,2004, pp. 69–76.
[9] T. Schlömer, B. Poppinga, N. Henze, and S. Bol, “Gesture recognition with a Wii controller,” in Proc. 2nd Int. Conf. Tangible and Embedded Interaction, 2008, pp. 11–14.
[10] T. Schou and H. J. Gardner, “AWii remote, a game engine, five sensor bars and a virtual reality theatre,” in Proc. 19th Australasian Conf.Comput.-Human Interaction: Entertaining User Interfaces, 2007, pp.231–234.
[11] D. Valkov, F. Steinicke, G. Bruder, and K. Hinrichs, “2D touching of 3D stereoscopic objects,” in Proc. SIGCHI Conf. Human Factors Computing Syst., 2011, pp. 1353–1362.
[12] G. D. Morrison, “A camera-based input device for large interactive displays,” IEEE Comput. Graph. Appl., vol. 25, no. 4, pp. 52–57, Jul.-Aug. 2005.
[13] Lange, B. Flynn, and A. A. Rizzo, “Initial usability assessment of off-the-shelf video game consoles for clinical game-based motor rehabilitation,”Phys. Ther. Rev., vol. 14, pp. 355–363, 2009.

注册成为正式用户,登陆后,获得更多阅读功能与服务!
转载本文需经本平台书面授权,并注明出处:上海情报服务平台www.istis.sh.cn
了解更多信息,请联系我们

§ 请为这篇文章打分(5分为最好)