(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211359037.4 (22)申请日 2022.11.02 (71)申请人 海看网络科技 （山 东） 股份有限公司 地址 250000 山东省济南市经十路185 67号 新广电中心大楼六楼 (72)发明人 宋广华　王朋　张晓刚　许强　 隆龙　王光永　 (74)专利代理 机构 济南华典专利代理事务所 (普通合伙企业) 372 93 专利代理师 李景华 (51)Int.Cl. G06F 3/0481(2022.01) G06F 3/04845(2022.01) G06F 3/04883(2022.01) G06F 9/451(2018.01) (54)发明名称 一种基于移动端的AR虚拟窗口 的交互方法 (57)摘要 本发明属于图像数据处理技术领域， 具体涉 及一种基于移动端的AR虚拟窗口的交互方法， 通 过手势交互操作实现虚拟窗口状态变化的实现 方法为， AR应用通过向AR通用基础组件的输入系 统册需要监听的事件类型， AR通用基础组件的输 入系统检测到目标事件类型后， 通知 AR应用目标 事件类型与相关参数， AR应用处理手势交互的对 应的状态变化。 本申请能够直观可视化地操作虚 拟窗口， 不占用屏幕的显示面积， 同时尽可能延 续用户在智能手机上手势操作的操作经验， 减少 了用户的学习成本， 用户可以通过简单手势即可 以与虚拟世界中的虚拟窗口交互， 极大提高了用 户体验。 权利要求书3页 说明书8页 附图18页 CN 115421626 A 2022.12.02 CN 115421626 A 1.一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 通过在移动设备的屏幕上 点击、 移动基本手势交互操作， 将屏幕 上的坐标映射到虚拟 世界中的空间坐标， 控制虚拟 世 界中虚拟窗口的状态变化， 包括选中虚拟窗口、 关闭虚拟窗口、 缩放虚拟窗口、 上下左右移 动虚拟窗口、 前后移动虚拟窗口、 旋转虚拟窗口， 通过手势交互操作实现虚拟窗口状态变化 的实现方法为， AR应用通过向AR通用基础组件的输入系统册需要监听的事件类型， AR通用 基础组件的输入系统检测到目标事件类型后， 通知AR应用目标事件类型与相关参数， AR应 用处理手势交 互的对应的状态变化。 2.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 所述 虚拟窗口顶部 设有一长条选择栏， 用户通过选择栏或者选择栏控制虚拟窗口的被选中的状 态。 3.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 所述 事件类型为点击事件、 点击结束事件、 移动事件、 虚拟摄像机位置变化事件， 相关参数为发 生在屏幕上的接触点数量、 接触点 坐标。 4.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 通过 手势交互操作选中虚拟窗口 的实现方法为， 注册点击监听事 件， 点击事 件发生， 触发点击事 件通知； 判断点击位置是否是选择栏， 若点击位置不是选择的位置， 则取消之前被选中虚拟窗 口的被选中状态， 若点击位置是选择栏的位置， AR应用启动延时， 延迟T秒； 继续判断检测点击位置是否依然位于选择栏上方， 若是， 则AR应用判定此虚拟窗口为 被选定状态， 当虚拟窗口被标记为被选中状态时， 此虚拟窗口应轻微抖动并以震动方式， 反 馈用户此窗口已是被选中状态， 若不是， 则取消之前被选中虚拟窗口 的被选中状态； 当操作人员点击虚拟窗口以外空白位置时， 则取消该虚拟窗口被选中状态。 5.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 所述 虚拟窗口上设有关闭按 钮， 通过手势交 互闭虚拟窗口 的实现方法为， 步骤S21、 注 册监听点击事 件； 步骤S22、 操作人员点击屏幕， 点击事 件发生； 步骤S23、 触发点击事件通知， 当检测到操作人员点击屏幕时， 点击事件被触发通知AR 应用； 步骤S24、 判断是否点击到关闭按钮， AR应用判断点击位置是否位于关闭按钮上方， 若 是， AR应用调用关闭窗口 的函数， 关闭指定窗口， 关闭虚拟窗口， 若否， 则返回步骤S2 2。 6.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 通过 手势交互操作缩放虚拟窗口 的实现方法为， 步骤S31、 选中虚拟窗口， 使虚拟窗口处于被选择状态； 步骤S32、 注 册监听点击事 件与移动事 件； 步骤S33、 触发点击事件通知， 检测触摸点数量是否同时是两个， 如果触摸点为两个， 记 录第一次两个 触摸点的距离D1 1； 步骤S34、 触摸 点发生移动， AR应用计算第二次两个 触摸点的距离D12； 步骤S35、 计算触摸 点距离D1 1与触摸点距离D12的差值， 记为ΔD1； 步骤S36、 计算虚拟窗口 的缩放变化 量；权　利　要　求　书 1/3 页 2 CN 115421626 A 2步骤S37、 计算缩放后虚拟窗口的尺寸,将变化后的虚拟窗口的尺寸参数赋值给虚拟窗 口， 变化其大小， 完成一次缩放操作。 7.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 通过 手势交互操作上 下左右移动虚拟窗口 的实现方法为， 步骤S41、 选中虚拟窗口； 步骤S42、 注 册监听点击事 件与监听移动事 件； 步骤S43、 触发点击事件通知， 检测触摸点数量是否是一个， 并且是否点击到选择栏， 如 果是， 记录第一次接触点 坐标 （X1， Y1） ， 记为P41； 步骤S44、 触摸点发生移动， 记录第二次接触点的坐标 （X2， Y2） ， 记为P42； 步骤S45、 计算接触点P42与接触点P41之间移动向量； 步骤S46、 将接触点 二维方向的移动向量扩展为 三维向量； 步骤S47、 计算虚拟窗口 的移动向量； 步骤S48、 计算移动后虚拟窗口的空间坐标， 并根据所得的移动后的空间坐标调整虚拟 窗口的位置， 完成一次虚拟窗口移动操作。 8.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 通过 手势交互操作前后移动虚拟窗口 的实现方法为， 步骤S51、 选中虚拟窗口； 步骤S52、 注 册监听点击事 件与移动事 件； 步骤S53、 触发点击事件通知， 检测触摸点数量是否是一个， 并且是没有点击到选择栏， 如果是， 记录此次接触点 坐标 （X1， Y1） ， 记为P51； 步骤S54、 触摸点发生移动， 移动事件通知AR应用， AR应用记录第二次接触点的坐标 （X2， Y2） ， 记为P52； 步骤S55、 计算两次触摸点坐标P52与P51之间垂直方向的移动向量， 水平方向的移动不 参与计算； 步骤S56、 将接触点 坐标的移动向量扩展为 三维移动向量； 步骤S57、 计算虚拟窗口 的移动向量； 步骤S58、 计算移动后虚拟窗口的空间坐标， 并根据所得的移动后的空间坐标调整虚拟 窗口的位置， 完成一次虚拟窗口前后移动操作。 9.根据权利要求1所述的一种基于移动端的AR虚拟窗口的交互方法， 其特征在于： 通过 手势交互操作控制 旋转虚拟窗口的实现方法为， 通过双指手势控制 旋转虚拟窗口， 具体包 括， 步骤S61、 选中虚拟窗口； 步骤S62、 注 册监听点击事 件与移动事 件； 步骤S63、 触发点击事件通知， 检测触摸点数量是否同时是两个， 如果触摸点为两个， 记 录两个触摸点中第一个 触摸点坐标(X1， Y1， Z1)， 记为P61； 步骤S64、 触摸 点发生移动； 步骤S65、 检测触摸点发生移动时， 接触点数量是否同时为两个， 若否， 返回步骤S63， 若 是， 则进行步骤S6 6； 步骤S66、 记录此次触摸点移动事件通知中的两个触摸点中的第一个触摸点坐标(X2，权　利　要　求　书 2/3 页 3 CN 115421626 A 3