苹果向来擅长把用户界面从个人电脑推广到手机和智能手表上。目前，苹果的工程师正在考虑将手机触屏转变为混合现实（Mixed Reality，MR），很可能会构建出良好的用户体验。最近，苹果正在申请手势控制专利，这似乎也透漏出了蛛丝马迹，表明公司对混合现实已做出了方方面面的考量。混合现实是一种可穿戴系统，该系统可以在真实环境中呈现虚拟场景，通过感知手指运动，就能控制混合现实空间中的数字内容。
过去几年，苹果一直在为混合现实的工作打基础。2017年，该公司发布了ARKit框架，帮助开发人员构建了数千个增强现实应用。这些应用必须通过iPhone或iPad来体验，所以使用起来有点笨重。而且，这类应用很快就会嵌入到眼部设备中，苹果肯定不会设计笨重的头戴设备，所以只有等到出现合适的增强眼镜，能把所有混合现实部件组合在一起时，混合现实应用才能有用武之地。
控制和驾驭混合现实的装置与方式虽然稍显笨拙，但却在不断发展。混合现实领域中的领先设备（例如Hololens和Magic Leap）可以让用户使用手势进行导航和控制。但跟踪所需的深度摄像头和传感器需要容纳空间，因此这类头戴设备并不小巧。而将手部动作传感器移动到身体上的其他地方则能有效减小头戴设备的规格。苹果此次申请的专利称为“含传感器和触觉反馈的指戴式设备（Finger－mounted Device with Sensors and Haptics）”，是一种包含了多种传感器的指戴系统。每个手指上都配备了多种类型的传感器，光学传感器可以测量指尖的运动，加速度传感器计有助于测量手势。
指戴式设备让指尖保持裸露，指节上的传感器用于检测指尖“按压”或“滚动”等操作。指戴式设备可以通过内置的触觉反馈单元响应用户的触摸或手势。专利称，指戴式设备可用于控制虚拟现实或增强现实系统，当用户在桌面上进行手指点击时，可以为用户提供在物理键盘上进行交互的感觉。
苹果并不是唯一一家考虑混合现实输入问题的大公司。谷歌近几年来一直在开发一种基于手势的控制系统“Project Soli”。Soli的传感器使用微型雷达系统捕获三维空间内的手部运动。到目前为止，谷歌已经将雷达传感器应用在智能手表和电视等中，实现了手势控制，所以该技术有望在更复杂的现实背景下跟踪手势。一位专家表示，像智能手表这样的可穿戴设备也有可能嵌入雷达传感器，然后雷达传感器会向用户的手发出雷达波束以检测手势。谷歌显然对Soli非常看重，公司最近请求联邦通信委员会（Federal Communications Commission，FCC）批准项目在更高功率的频段上运行，以获得更精确的手势。去年年底，联邦通信委员会批准了这一请求。
三星也在积极开发混合现实的手势控制系统。美国专利局公布了三星的专利申请，该专利提出了一款虚拟现实头戴设备，结合三维传感器和红外传感器来检测用户手部的复杂动作。三星提交了另一份专利申请，其中也使用了类似的技术来控制增强现实系统中的内容。
目前，苹果的ARKit和谷歌的ARCore都是借助手机背面的普通2D摄像机，实现了基于手机的增强现实（如Pokémon Go）。不过，把增强现实从手机推向眼镜之前，仍存在可开发的空间。目前，3D摄像头已能绘制出3D数字内容，智能手机制造商显然也希望将它们用作后置摄像头。彭博社去年12月的报道称，华为计划在2019年将索尼3D摄像头用作几款新手机的后置摄像头。报道援引消息人士的话，3D摄像头不仅仅能用于拍摄3D照片和空间扫描，还能用于跟踪手势。
iPhone X把3D摄像头用作前置摄像头进行面部识别，也因此诞生了Animoji和Memoji。但如果把3D摄像头用作后置摄像头，则能实现更多功能。如果房间的3D图更加精确，那么ARKit应用程序就能以更逼真和功能性更强的方式来部署内容。与之类似，3D摄像头也可用于跟踪手势。
苹果专利中的技术常常没有进入市场，即便成功了，最终的形式也与专利中所描述的截然不同。苹果的“指戴式”设备专利是公司所解决过的最有趣的问题。苹果正在认真考虑用户界面的下一个潮流，期待凭借合适的时机和技术引领混合现实，就像最初引领移动体验一样。
