(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111597616.8 (22)申请日 2021.12.24 (71)申请人 中科曙光 南京研究院有限公司 地址 211102 江苏省南京市江宁区诚信大 道519号(江宁开发区) (72)发明人 刘玉海　李永鑫　张建一　孙允超　 宋怀明　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 代理人 方晓雯 (51)Int.Cl. G06V 20/05(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) G06F 30/27(2020.01) (54)发明名称 一种基于深度学习的深海潜艇搜寻对接方 法及系统 (57)摘要 本发明提出了一种基于深度学习的深海潜 艇搜寻对接方法及系统， 其中针对失事潜艇救援 方法具体实现过程为： 水面支 援母舰通过声呐确 定失事潜艇方位后释放深潜救生艇， 深潜救生艇 利用基于深度学习的失事潜艇目标检测网络实 时分析摄像头拍摄画面， 搜寻失事潜艇。 当搜索 到失事潜艇， 自动驾驶靠近至失事潜艇正上方， 开启深度学习的潜艇对接目标环检测网络， 定位 失事潜艇的对接目标环， 并实现自动靠近连接对 接装置， 实现对失事潜艇 的对接救援。 整体过程 自动化， 无需人为干预， 利用 深度学习计算机视 觉搜索失事潜艇， 使 得整个救援过程在更高效的 同时， 准确率 也达到进一步的提升 。 权利要求书2页 说明书9页 附图5页 CN 114299376 A 2022.04.08 CN 114299376 A 1.一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 具体包括以下步骤： 步骤1、 搜寻失事潜 艇的初始方位； 步骤2、 根据搜寻到的方位下潜 深潜救身艇； 步骤3、 通过信息采集设备获取实时环境数据； 步骤4、 构建基于深度 学习的失事潜艇目标检测网络并接收所述实时环境数据， 利用计 算机视觉进行目标检测； 步骤5、 根据所述失事潜 艇目标检测网络的目标检测结果， 定位失事潜 艇的具体位置； 步骤6、 所述深 潜救生艇根据失事潜 艇定位的具体位置行驶至失事潜 艇上方； 步骤7、 构建基于深度 学习的潜艇对接目标环检测网络， 接收信 息采集设备获取到的实 时环境数据， 并进行目标检测分析； 步骤8、 深潜救生艇根据所述潜艇对接目标环检测网络的检测结果自动定位对接目标 环， 并自动驾驶至目标环上 方， 进行动力定位； 步骤9、 使用深 潜救生艇的对接装置， 完成与失事艇目标环的对接作业。 2.根据权利要求1所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 通过声波回传的方式对失事潜 艇的初始方位进行锁定 。 3.根据权利要求1所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 所述基于深度学习的失事潜 艇目标检测网络包括检测器； 所述检测器包 含主干网络和获取网络 输出内容的网络； 所述主干网络用于提取实时环境数据中的图像特 征； 所述获取网络 输出内容的网络用于预测图像数据中的类别 信息和目标物图的边界框 。 4.根据权利要求1所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 所述基于深度学习的失事潜艇目标检测网络在目标的分类与回归层面采用两个特征 层， 并使用金字塔网络结合至少一个层级的特 征进行特征层的合并； 所述基于深度学习的失事潜艇目标检测网络还包括： 多任务、 端到端、 注意力 机制和多 尺度的特点。 5.根据权利要求1所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 为了更好的提升基于深度学习的失事潜艇目标检测网络的训练速度和检测精度， 采用 参数修正的方式进行模型性能的训练； 所述参数修正的方式包括： Mosaic数据增强、 标签平 滑、 学习率 余弦退火衰减方法。 6.根据权利要求1所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 还包括对所述失事潜艇目标检测网络和所述潜艇对接目标环检测网络进行模型训练， 步骤如下： 步骤a、 采集 不同情况 下的差异化图像， 构成差异化图像数据集； 步骤b、 根据现有目标物的外形的特 征构建不同方向下的仿真图像； 步骤c、 将差异化图像数据集中的图像数据与不同方向下的仿真图像进行结合， 获取目 标图像数据集； 步骤d、 将目标图像数据集进行 数据增强； 步骤e、 根据数据增强后的图像数据构建最终的目标检测数据集； 步骤f、 利用所述目标检测数据集对 模型进行性能训练。权　利　要　求　书 1/2 页 2 CN 114299376 A 27.根据权利要求6所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 为了准确定位失事潜艇对接目标环的位置， 基于构建好的目标检测数据集， 通过对各 个失事潜艇仿真模型根据沉没倾角、 方向的不同加入对接目标环， 进一步组成新的潜艇对 接目标环数据集， 并用于训练基于深度学习的潜 艇对接目标环检测网络 。 8.根据权利要求6所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 将差异化图像数据集中的图像数据与不同方向下的仿真图像进行结合， 获取目标图像 数据集时， 使用一种生成对抗网络与 空间变换网络相结合的潜艇失事沉底图像生成方法， 该方法以生成 式对抗网络为基础， 结合至少两种尺度卷积核对图像进 行不同尺度的特征提 取， 同时引入沃瑟斯坦散度作为度量真实样本和合成样本之间的距离， 以此来优化生成器 的性能。 9.根据权利要求6所述的一种基于深度学习的深海潜 艇搜寻对接方法， 其特 征在于， 合成的目标图像数据集是通过空间变换网络生成的变形后的潜艇图像和未遮挡海底 图像进行图像融合产生的， 其中所述空间变换网络用于对输入的图像进行空间变换， 输出 一张变换后的理想图像； 进一步的， 空间变换网络包括： 本地 化网络、 参数采样网络和图像采样网络； 所述本地化网络的输入是原始 的图片， 输出是一个变换参数， 它映射的是输入图片和 理想图片的坐标关系； 所述参数采样网络则是对特征图像进行仿射变换， 通过变换参数和输入特征图的坐标 位置， 得到对应的特 征关系； 所述图像采样网络用于利用经过本地化网络和参数采样网络后得到的特征关系， 对原 图像进行变换以得到期望的图像。 10.一种基于深度学习的深海潜艇搜寻对接系统， 用于实现权利要求1 ‑9任意一项方 法， 其特征在于， 具体包括： 定位模块、 被设置为对失事潜 艇的初位置进行 预判； 图像采集模块、 被设置为 通过信息采集设备获取实时环境数据； 目标检测网络、 被设置为根据图像采集模块获取到的环境数据进行失事潜艇位置的精 准识别； 目标环检测网络、 被设置为根据图像采集模块获取到的环境数据进行失事潜艇对接目 标环位置的精准识别； 机械指令生成模块、 被设置为根据目标环检测网络的识别结果生成对应的机械控制 指 令； 对接模块、 被设置为根据机械指令生成模块生成的机械控制指令驱动对接装置进行对 接。权　利　要　求　书 2/2 页 3 CN 114299376 A 3