动态交互式可响应的图形创建
RealitySketch 基于苹果公司的 AR 开发平台 Apple ARKit 研发，它可以将绘制的动态草图嵌入到真实环境中。用户首先通过手指或数码笔在触摸屏上绘图，然后将他们绘制的草图中的元素叠加到真实世界的摄影机视图上。
Suzuki 说：“在过去，创建这样的可视化场景会经历很多耗时的环节，需要视频编辑、后期制作等独立的步骤。相比之下，我们想弄明白：当现实世界发生变化时，如果这些草图元素能够动态地做出反应，会怎么样呢？＂
图 ｜ 嵌入式和响应式草图的潜在示例（绿色元素表示虚拟世界中的对象，黑色元素表示现实世界中的对象）
RealitySketch 最独特的功能是：它利用交互技术，根据真实世界运动的草绘元素进行实时的动画制作。
该方法可以保障用户以用户以实时和即兴的方式，按照以下 4 个步骤来实现图形的创建：
对象跟踪：用户首先要在真实世界的场景中，指定要跟踪的视觉实体（例如，一个物理对象或一个骨骼关节）；参数化：然后，用户通过绘制直线或弧线来定义感兴趣的特定变量，从而对跟踪的实体进行参数化；参数绑定：用户将这些变量绑定到草图元素的图形属性上（例如，长度、角度等），如此一来，当现实世界的变量发生变化时，就可以实时跟踪其动态行为；可视化：用户还可以通过几种可视化效果来对现实世界的运动进行交互、分析和可视化处理。
Suzuki 解释道：“RealitySketch 集成了物体追踪和基于 AR 的可视化。首先，它利用计算机视觉技术来跟踪物理对象。当用户在 iPad 上点击一个对象时，系统会根据物体的颜色来跟踪该对象。所有的草绘元素都被绑定到了这些被追踪的物体上，因此用户对物体进行移动、抛出等操作时，草绘的元素也会根据预期表现出的运动进行动画处理。”
AR 作为动态计算媒介，潜力巨大
为调查这一平台的满意度，研究人员招募卡尔加里大学的学生和老师参与评估调研，这些师生对 RealitySketch 非常满意，并且似乎对其增强物理实验的潜力感到特别兴奋。
现在由于 COVID－19 在全球的大流行，很多学生都在网上上课，而 RealitySketch 界面的创建可能价值非凡。实际上，RealitySketch 可以使远程教学更具吸引力，例如，它允许教师录制动态的物理实验视频，并与学生进行分享，这样他们就可以更好地理解老师在讲课中描述的物理概念和现象。
除了在课堂环境中测试他们的平台，研究人员还展示了 RealitySketch 在与教育无关的其他应用领域中的潜力。例如，他们展示了体育教练可以使用它来生成与健身有关的数据，并对其进行实时的可视化处理和分析。
