(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111371245.1 (22)申请日 2021.11.18 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 冯明驰　梁晓雄　萧红　岑明　 李成南　王鑫　宋贵林　邓程木　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 代理人 刘小红 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01) G06V 20/58(2022.01) G06V 10/74(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) G06T 9/00(2006.01) G06F 111/10(2020.01) (54)发明名称 一种基于多任务神经网络的道路结构预测 与目标检测方法 (57)摘要 本发明请求保护一种基于多任务神经网络 的道路结构预测与目标检测方法， 涉及自动驾 驶、 深度学习、 计算机视觉等领域。 首先本发明构 建了一个上下文参数共享机制的多任务神经网 络， 具有同时预测道路结构和目标检测的功能； 并且通过道路结构预测值和车辆布局预测值与 其真实值间的损失构建损失函数数学模型； 其次 通过图像和地图制作数据集并对网络的预测部 分进行闭环训练； 最后部署于汽车上， 并应用于 预测道路结构与目标检测中。 本发 明方法中的多 任务神经网络仅需要图像信息就能完成道路结 构预测与目标检测功能， 对图像中不可见以及被 遮挡区域 也可进行道路结构与目标的预测。 权利要求书3页 说明书7页 附图2页 CN 114048536 A 2022.02.15 CN 114048536 A 1.一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 包括以下 步骤： 构建道路结构预测与目标检测的多任务神经网络； 该多任务神经网络可以同时进行道 路结构预测以及目标检测任务， 通过共享上下文参数机制， 该网络对图像中不可见以及被 遮挡区域 也能进行道路结构与目标的预测； 通过汽车拍摄图像和车辆道路地图制作数据集； 构建多任务神经网络损失函数 数学模型； 将道路结构预测与目标检测多任务神经网络部署至车载嵌入式平台中， 在嵌入式平台 中运行模型检测汽车前方道路结构、 车辆的布局， 将检测到的信息发送至嵌入式平台控制 中心； 多任务神经网络预测出道路结构和目标布局， 将前方道路的鸟瞰图预测出来， 有颜色 显示的区域 就是道路和车辆； 通过图像与地图数据制作数据集， 达 到网络预测部分闭环训练。 2.根据权利要求1所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 所述构建道路结构预测与目标检测的多任务神经网络， 具体包括以下步骤： 构建基于共享上下文变量C的多任务神经网络， 网络中多个任务分支共享一个编码器 编码结果， 共享上下文参数C仅由图像包含信息推导出， 道路和目标具有高度位置相关性且 并不是互相独立的， 共享上下文参数C就包含道路和目标的布局空间关系信息； 将一张图像 利用编码器编 码， 图像作为输入， 生成一个特征图作为输出， 这个提取的特征映射就是网络 中所需要的共享上 下文变量； 构建解码器， 分为道路解码器和车辆解码器， 对共享上下文参数进行解码以生成场景 的布局； 该解码器由一系列的反卷积和上采样层组成， 这些层将共享上下文参数映射到道 路场景生成道路结构和车辆布局； 引入参数化的鉴别器， 通过将预测结果数据分布正则化， 使其与合理道路几何图形的 真实分布相似， 从而正则化预测道路结构和车辆布局。 3.根据权利要求2所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 所述多任务神经网络共有两个任务， 分别是 车辆布局任务和道路布局任务； 道路布局任务用来预测车道布局， 可用于规划汽车行驶路线， 目标检测预测前方车辆 的车辆布局， 可用于防碰撞预警， 提取特征映射作为共享上下文变量； 得到的特征图共享上 下文参数后， 使用两个具有相同架构的并行解码器来估计道路和车辆布局， 解码器由卷积 块组成， 以共享上下文参数的特征图作为输入， 卷积块将此共享参数映射到特征图上， 之 后， 采用反卷积模块， 将特 征图降维并增 加分辨率， 得到一个输出 特征图。 4.根据权利要求3所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 在反卷积过程中， 图片的最后通道数不同， 其中在道路布局解码 器中为2， 在车 辆布局解码 器中1， 得到一个输出特征图， 在此期间应用了dr opout到倒数第二层， 以实施随 机正则化， 输出的特 征图对应于地 面上的矩形区域。 5.根据权利要求4所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 当生成了车辆当前位置道路结构图和目标布局图后， 将生成的图片放入鉴别 器； 特征图在这里将被鉴别器以真实标签为样本区分真伪， 鉴别器包含一个非线性激活函 数， 使用提出 的损失函数进行网络的训练， 通过与先前准备 的各种道路的预置数据分布匹权　利　要　求　书 1/3 页 2 CN 114048536 A 2配， 调整布局。 6.根据权利要求1 ‑5任一项所述的一种基于多任务神经网络的道路结构预测与目标检 测方法， 其特征在于， 所述通过汽车拍摄图像和车辆道路地图制作数据集， 具体包括以下步 骤： 使用地图接口提取各种道路图片， 道路图片用于预置数据分布图的匹配， 依据经纬度 提取汽车拍摄图像位置的地图； 根据道路结构预测和目标检测多任务神经网络的结构， 将训练集标签分为两类： 用于 匹配的预置数据分布标签和用于训练多任务神经网络的地面道路真实值和目标检测鸟瞰 图标签。 7.根据权利要求6所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 所述构建多任务神经网络损失函数 数学模型， 具体包括： 确定道路结构预测与目标检测任务中上下文编码器、 道路场景解码器和车辆场景解码 器的参数φ、 v、 ψ， 通过使用小批量随机梯度下降法最小化目标函数； 使用L2误差项对道路结构和车辆布局与真实值差值参数进行惩罚， 使其与相应的地面 真值布局接 近， 训练多任务神经网络 。 8.根据权利要求7所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 所述使用L2误差项对道路结构和车辆布局与真实值差值参数进行惩罚， 使其 与相应的地 面真值布局接 近， 训练多任务神经网络， 具体包括： 其中Φ为上下文编码器的权重参数； 其中ψ为车辆布局解码器参数； 其中 为道路场景 布局解码器参数； 其中θ为共享上下文中的参数； 其中θS表示道路在共享上下文中的参数； 其中θD表示车辆在共享上下文中 的参数， 其中Lsup是一个L2监督误差项， 用于惩罚预测道 路 和车辆布局与其对应的地面真值的损失值， Ladv， Ldiscr是网络中解码器层和鉴别器的损失 值， Lsup， Ladv， Ldiscr计算公式如(2)， (3)， (4)所示： 式中N表示网络训练时图片的数量； 式中Sφ， v表示网络预测的道路布局； 式中 表示图 像中的信息； 式中 表示道路的布局真实值， 式中i表示样本的个数； 式中Dφ， ψ表示网络预 测的车辆布局； 式中 表示车辆的布局真实值， 式中i表示样本的个数； 式中S表示对于道 路预测的概率(0≤S≤1)； 式中D表示对于车辆预测的概率(0≤D≤1)； 其中 为分布函数 的期望值； 其中 代表的是网络生成样本的分布； 其中 代表的是真实样本的 分布， 对抗性损失Ladv和Ldiscr使得道路/车辆场景解码器的布局估计 分布Pfake与真实场景解 码器Ptrue接近。 9.根据权利要求8所述的一种基于多任务神经网络的道路结构预测与目标检测方法， 其特征在于， 所述将道路结构预测与目标检测多任务神经网络部署至车载嵌入式平台中，权　利　要　求　书 2/3 页 3 CN 114048536 A 3