(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111402292.8 (22)申请日 2021.11.24 (71)申请人 灵译脑科技 （上海） 有限公司 地址 201306 上海市浦东 新区南汇新城镇 海洋一路333号1号楼、 2号楼 (72)发明人 续晋华　沈超元　 (74)专利代理 机构 上海三方专利事务所(普通 合伙) 31127 代理人 吴玮 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于浅深皮层双路径构架的卷积神经 网络模型压缩 优化方法 (57)摘要 本发明涉及计算机技术领域， 深度学习， 网 络压缩技术领域， 具体来说是一种基于浅深皮层 双路径构架的卷积神经网络模型压缩优化方法， 将某个卷积神经网络中每个阶段的卷积块构建 成双路径结构， 卷积神经网络中包括深路径和浅 路径， 深路径中由若干个卷积块堆叠而成， 浅路 径中只包含一层维度映射； 将 输入特征图通过特 征分离模块； 将正权重的特征图映射至指定维度 后输入到深路径中， 将负权重的通道输入到浅 路 径中； 将经过两个 路径卷积运算的特征图拼接回 原来的维度输出； 通过调节每个卷积阶段中两个 路径之间的通道比例实现模型不同程度的压缩 后进行训练。 权利要求书1页 说明书4页 附图2页 CN 114154409 A 2022.03.08 CN 114154409 A 1.一种基于浅深皮层双路径构架的卷积神经网络模型压缩优化方法， 其特征在于， 该 方法包括如下步骤： 步骤一： 将某个卷积神经网络中每个阶段的卷积块构建成双路径结构， 卷积神经网络 中包括深路径和浅路径， 深路径中由若干个卷积块堆叠而成， 浅路径中只包含一层维度映 射； 步骤二： 将输入特 征图通过 特征分离模块； 步骤三： 将正权重的特征图映射至指定维度后输入到深路径中， 将负权重的通道输入 到浅路径中； 步骤四： 将经 过两个路径卷积运 算的特征图拼接回原来的维度输出； 步骤五： 通过调节每个卷积阶段中两个路径之间的通道比例实现模型不同程度的压缩 后进行训练。 2.如权利要求1所述的一种基于浅深皮层双路径构架的卷积神经网络模型压缩优化方 法， 其特征在于， 所述步骤一的双路径架构是指每个卷积阶段包含两条路径， 其中深路径由 若干个卷积块 堆叠， 浅路径只包 含一层维度映射。 3.如权利要求1所述的一种基于浅深皮层双路径构架的卷积神经网络模型压缩优化方 法， 其特征在于， 所述步骤二的特征分离操作是指： 首先通过通道注意力机制学习到一组通 道权重， 并映射至 ‑1到1的区间， 然后分别做ReLU激活和取反后做ReLU激活， 将得到的两组 权值与原特 征图相乘即能将对应的特 征通道分离， 具体方法如下： 步骤a1： 使用全局平均池化将特 征通道的大小从H ×W×C压缩到1×1×C的表示： 步骤a2： 将输入特征图通过两层全连接层建模通道之间的关系， 采用Tanh激活函数将 输出映射到 ‑1到1的区间： ω＝σ(W2ReLU(W1g(x))) 步骤a3： 在ω上执行ReLU激活函数使得其中正权重得以保留， 取反做ReLU激活得到负 权重： ω1＝ReLU(ω) ω2＝ReLU(‑ω) 步骤a4： 通过将ω1和ω2与原始特征图相乘， 可以获得两个特征图， 分别对应于具有正 权重和负权 重的通道。权　利　要　求　书 1/1 页 2 CN 114154409 A 2一种基于浅 深皮层双路径构架的卷积神经 网络模型压缩优化 方法 技术领域 [0001]本发明涉及计算机技术领域， 深度学习， 网络压缩技术领域， 具体来说是一种基于 浅深皮层 双路径构架的卷积神经网络模型压缩 优化方法。 背景技术 [0002]图像识别技术是指对图像中的目标进行识别的技术。 在无人驾驶领域， 如何精准 高效地识别道路场景中的目标， 同时又需保证实时计算的速度以及对芯片算力的低要求， 是机器学习 、 人工智能领域的一大挑战。 [0003]图像识别的探索过程经历了以下几个阶段： 早期通过模版匹配； 用模式识别完成 识别、 评价； 用深度神经网络进行 特征提取； 直接训练端到端的网络进行识别。 [0004]图像识别中的模式识别(Pattern  Recognition)， 是一种从大量信息和数据出发， 在专家经验和已有认识的基础上， 利用计算机和数学推理的方法对形状、 模式、 曲线、 数字、 字符格式和图形自动完成识别、 评价的过程。 模式识别包括两个阶段， 即特征提取和分类， 前者是对样本进行 特征选择， 后者是对未知样本集进行分类和识别。 [0005]随着机器学习算法和计算机硬件的进步， 构建包含多层卷积的大规模深度卷积神 经网络(Convolutional  Neural Networks,CNN)变得可能。 在大量图片的数据集上， CNN在 图像识别的模 型表现上甚至超越了传统的图像特征提取方法。 然而， 在高性能GPU卡加持下 得以有效训练的深度卷积神经网络却很难在以手机为代表的移动端设备上进行有效的部 署， 因此模型压缩和轻量 化模型设计是近几年卷积神经网络研究的热点。 [0006]通道注意力机制(channel  attention  mechanism)从输入特征图通过两层 全连接 层来建模通道之间的关系， 从而获得 更加有效的特 征表示。 [0007]通道注意力机制将输入特征图通过全局平均 池化得到一组通道维度的权值， 将这 组权重通过两个全连接层捕捉通道之 间的关系。 其中两个全连接层之 间有一个维度缩减用 于减小该模块所需的参数量。 最终将得到的权值通过Sigmoid  激活映射至0到1的区间， 再 与原特征图相乘实现对通道的激活和抑制。 发明内容 [0008]本发明的目的在于以ResNet50和MobileNetV1构架为例建立双路径模型， 然后通 过特征分离模块来实现高效精准的通道特征提取， 提供一种基于浅深皮层双路径构架的卷 积神经网络模型压缩 优化方法， 该 方法在图像识别数据集上达 到良好的识别效果。 [0009]为了实现上述目的， 设计一种基于浅深皮层双路径构架的卷积神经网络模型压缩 优化方法， 其特 征在于， 该 方法包括如下步骤： [0010]步骤一： 将某个卷积神经网络中每个阶段的卷积块构建成双路径结构， 卷积神经 网络中包括深路径和浅路径， 深路径中由若干个卷积块堆叠而成， 浅路径中只包含一层维 度映射；说　明　书 1/4 页 3 CN 114154409 A 3