(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211213074.4 (22)申请日 2022.09.29 (71)申请人 上海弘玑信息技 术有限公司 地址 201240 上海市闵行区紫星路58 8号2 幢13层055室 (72)发明人 何叶　汪勇旭　高煜光　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 吕爱霞 (51)Int.Cl. G06F 9/451(2018.01) G06F 3/0481(2022.01) (54)发明名称 一种录制窗口中控件的方法、 装置、 介质及 设备 (57)摘要 本申请实施例提供一种录制 窗口中控件的 方法、 装置、 介质以及设备， 所述方法包括： 以参 照物所在位置为起点依据目标录制移动步长和 目标录制移动方向查找至少一个目标控件， 其 中， 所述目标控件和与所述参照物对应的控件在 所述窗口上的排布需满足目标空间布局特征； 根 据所述目标控件得到录制文件， 其中， 所述录制 文件用于定位与所述参照物对应控件同级别的 一个或多个控件。 由于本申请的一些实施例在对 窗口进行录制时考虑了控件在界面上的空间分 布位置， 因此可以更好适配针对相似图形的多个 控件组成的被录制对象 的录制操作， 提升技术方 案的通用性。 权利要求书3页 说明书15页 附图7页 CN 115509665 A 2022.12.23 CN 115509665 A 1.一种录制窗口中控 件的方法， 其特 征在于， 所述方法包括： 以参照物所在位置为起点依据目标录制移动步长和目标录制移动方向查找至少一个 目标控件， 其中， 所述 目标控件和与所述参照物对应的控件在窗口上 的排布满足目标空间 布局特征； 根据所述目标控件得到录制文件， 其中， 所述录制文件至少用于定位与所述参照物对 应控件同级别的一个或多个控 件。 2.如权利要求1所述的方法， 其特征在于， 所述根据 所述目标控件得到录制文件， 包括： 记录与所述参照物对应控件的控件信息， 并记录所述 目标控件的控件信息， 得到所述录制 文件。 3.如权利要求1所述的方法， 其特 征在于， 所述 根据所述目标控 件得到录制文件， 包括： 获取所述目标控件和与所述参照物对应的控件的逻辑祖先控件， 得到第 一逻辑祖先控 件； 根据所述第一逻辑祖 先控件得到所述录制文件。 4.如权利要求3所述的方法， 其特征在于， 所述根据 所述第一逻辑祖先控件得到所述录 制文件， 包括： 通过比对多个逻辑祖先控件得到公共祖先控件， 其中， 所述多个逻辑祖先控件包括所 述第一逻辑祖先控件， 所述多个逻辑祖先控件中的各逻辑祖先控件分别与不同参照物对 应， 或者与不同的目标录制移动方向对应， 或者与不同目标录制移动步长对应； 获取所述公共祖先控件包括的各级子控件相对于所述公共祖先控件的层级信息， 其 中， 与所述 参照物对应的控 件和所述目标控 件属于所述各级子控 件中的控 件； 至少将与所述公共祖先控件对应的控件信息和所述层级信息作为所述录制文件中的 内容。 5.如权利要求1 ‑3任一项所述的方法， 其特征在于， 在所述以参照物所在位置为起点依 据目标录制移动步长和目标录制移动方向查找至少一个目标控 件之前， 所述方法还 包括： 依据待录制控件在所述窗口上的布局特征获取目标录制策略， 其中， 所述目标录制策 略包括： 所述目标录制移动步长、 所述目标录制移动方向以及所述目标 空间布局特征， 所述 待录制控件包括与所述参照物对应的控件以及所述目标控件， 所述布局特征为用户可视的 所述待录制控 件在所述窗口上的分布特 征。 6.如权利要求5所述的方法， 其特征在于， 所述依据待录制控件在所述 窗口上的布局特 征获取目标录制策略包括： 根据所述待录制控件在所述 窗口上的布局设置多个录制项得到所述目标录制策略， 其 中， 所述录制项包括： 被录制控件的空间布局特征、 录制移动方向、 录制移动步长以及录制 次数； 或者， 选择默认录制策略作为所述目标录制策略。 7.如权利要求6所述的方法， 其特征在于， 所述被录制控件的空间布局特征包括： 线性、 矩形、 圆形以及自定义矢量图谱中的至少一种， 所述 目标空间布局特征是从所述被录制控 件的空间布局特 征中选取 得； 或者 所述录制移动方向包括： 沿参照物横向移动、 沿参照物纵向移动， 沿参照物向横向和纵 向分别移动和沿参照物向自定义函数方向移动中的至少一种， 所述目标录制移动方向是从权　利　要　求　书 1/3 页 2 CN 115509665 A 2所述录制移动方向中选取 得。 8.如权利要求6所述的方法， 其特征在于， 所述参照物为表格， 其中， 所述录制项还包 括： 表格对齐方式， 所述表格对齐方式包括： 左上对齐或者中心对齐， 所述起点是通过所述 表格对齐方式确定的。 9.如权利要求5所述的方法， 其特征在于， 所述目标录制策略还包括目标录制次数， 在 所述根据所述目标控 件得到录制文件之后， 所述方法包括： 若确认录制总次数小于所述目标录制次数时， 则更新所述目标录制策略重复获取所述 录制文件的过程 直至达到所述目标录制次数。 10.如权利要求1所述的方法， 其特征在于， 所述参照物的个数为多个， 则所述方法包 括： 对各参照物分别重复所述获取录制文件的过程， 得到多个所述录制文件。 11.如权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 接收输入的参数化信息并获取所述录制文件， 其中， 所述参数化信息用于指示本次操 作的类型， 所述类型包括： 输出文本内容； 通过所述录制文件得到所述公共祖 先控件包括的所述各级子控 件的路径信息； 对所述参数化信息进行解析 得到目标操作控 件和目标操作； 根据所述路径信息 定位所述目标操作控 件的位置； 根据所述位置在窗口上找到所述目标操作控件并完成针对所述目标操作控件的所述 目标操作。 12.如权利要求1 1所述的方法， 其特 征在于， 所述通过所述录制文件得到所述公共祖先控件包括的所述各级子控件的路径信 息， 包 括： 通过所述录制文件得到与所述各级子控件对应的关联路径， 其中， 所述关联路径用于 表征从所述公共祖 先控件到达相应子控 件所经过的逻辑分层和偏移位置； 所述根据所述路径信息 定位所述目标操作控 件的位置， 包括： 根据所述关联路径得到所有备用的控件句柄， 其中， 所述控件句柄用于表征所述各级 子控件在内存的地址； 根据所述目标空间布局特征从所述所有备用的控件句柄中筛选出至少部分控件句柄， 得到目标控 件句柄； 通过所述目标控 件句柄得到所述目标操作控 件的位置 。 13.如权利要求 4所述的方法， 其特 征在于， 所述 参照物为表格， 所述方法包括： 将参数化信息和所述录制文件传递到机器人中， 其中， 所述参数化信息为获取目标表 格中的文本内容； 根据所述录制文件得到关联路径， 其中， 所述关联路径用于表征从所述公共祖先控件 到达相应子控 件所经过的逻辑分层和偏移位置； 通过所述机器人从所述录制文件中查询所述公共祖先控件， 再根据所述关联路径找到 所有备选控 件； 按照所述目标空间布局特征对所述备选控件进行筛选过滤后， 得到一个结构化的控件 句柄； 根据所述 参数化信息和所述结构化的控 件句柄获取 所述目标表格中所有 文本内容。权　利　要　求　书 2/3 页 3 CN 115509665 A 3