(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111556974.4 (22)申请日 2021.12.18 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 叶可江　唐璐婕　须成忠　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 代理人 刘建伟 (51)Int.Cl. G06F 12/0877(2016.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种工业互联网边缘服务缓存决策方法及 系统 (57)摘要 本发明涉及工业互联网技术领域， 具体涉及 一种工业互联网边缘服务 缓存决策方法及系统； 本发明实施例中的工业互联网边缘服务缓存决 策方法通过基于分布式深度强化学习方法构建 的算法来对边缘缓存策略数学模 型计算最优解， 能够解决对系统的数学模型的优化问题。 该方法 基于网络 数学模型的建立和最优目标的确定， 并 基于强化学习和深度学习技术的结合， 根据大量 的用户历史数据， 让机器去学习并预测用户的偏 好度以及网络中内容流行度的变化趋势， 并根据 学习的结果去调整服务缓存策略。 可以有效的给 出服务缓存决策的最优解。 其对应的系统也具体 同样的技 术效果。 权利要求书2页 说明书8页 附图2页 CN 114328291 A 2022.04.12 CN 114328291 A 1.一种工业互联网边 缘服务缓存决策 方法， 其特 征在于， 包括以下步骤： S1.基于只有服务器 中缓存了相应的服务数据才可以执行服务相对应的任务对工业互 联网系统进行 数学建模； 系统模型的云服 务器中缓存了所有服 务所需的数据； S2.对边云协同系统中服 务访问时延建立数 学模型； S3.根据边缘服务器之间和边缘服务器与云服务器之间数据传输的功率， 以及边缘服 务器与云服 务器的计算功率对所述工业互联网系统的能耗进行 数学建模； S4.基于系统模型、 延时模型和能耗模型， 建立达到最小化的服务访问时延和最小化的 能量消耗的优化目标； S5.基于分布式深度强化学习方法构建能够实现所述优化目标的算法。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S5还 包括以下步骤： S51.将多个并行深度神经网络DNN与强化学习算法Q ‑learning相结合， 构建一个并行 的深度强化学习算法， 进行服 务缓存决策； S52.在训练阶段中依据当前状态以贪婪策略选择一个动作执行， 得到奖励和下一个状 态， 将得到的状态转换存储至经验池中； 当经验池D存储的容量足够大时， 从经验池中提取 一定数量的状态转换去训练网络参数； S53.在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入动作集合 中， 计算每 个缓存决策获得的相应奖励， 以奖励最大的缓存决策作为输出动作。 3.根据权利要求2所述的方法， 其特征在于， 在所述步骤S1中， 边缘服务器为传感器设 备和工业设备提供数据分析和处理服务； 所述边缘服务器相对云服务器， 其计算资源和存 储资源都是有限的。 4.根据权利要求3所述的方法， 其特征在于， 所述步骤S1中， 当请求的服务没有缓存在 距离其最近的边缘服务器上时， 所述服务在云服务器或另一个缓存了所述服务的边缘服务 器上执行。 5.根据权利要求4所述的方法， 其特征在于， 所述步骤S5中， 将服务最优化缓存问题描 述为一个马尔可夫决策过程； 所述马尔可夫决策过程由状态空间S、 动作空间A和奖励函数R 三个部分组成。 6.根据权利要求5所述的方法， 其特征在于， 所述步骤S51中， 所述深度神经网络DNN的 动作执行为并行执行， 所述深度神经网络DNN包括两个具有相同结构但参数不同的神经网 络结构； 一个是用于预测所述强化学习算法Q ‑learning的Q估计值的主神经网络， 拥有最新 的网络参数； 另一个是用于预测所述 强化学习算法Q ‑learning的Q实际值的目标神经网络， 使用的参数 是一段时间以前的参数， 且一段时间保持不变。 7.一种采用 如权利要求1 ‑6任意一项所述方法的工业互联网边缘服务缓存决策系统， 包括： 数学建模模块和服 务缓存决策模块； 其特 征在于， 所述数学建模模块基于只有服务器中缓存了相应的服务数据才可以执行服务相对应 的任务对工业互联网系统进行数学建模； 系统模型的云服务器中缓存了所有服务所需的数 据； 对边云协同系统中服 务访问时延建立数 学模型； 根据边缘服务器之间和边缘服务器与云服务器之间数据传输的功率， 以及边缘服务器 与云服务器的计算功率对所述工业互联网系统的能耗进行 数学建模；权　利　要　求　书 1/2 页 2 CN 114328291 A 2基于系统模型、 延时模型和能耗模型， 建立达到最小化的服务访 问时延和最小化的能 量消耗的优化目标； 所述服务缓存决策模块基于分布式深度强化学习方法构建能够实现所述优化目标的 算法。 8.根据权利要求7所述的系统， 其特征在于， 所述服务缓存决策模块还包括： 算法构建 单元、 训练单 元和决策 单元； 所述算法构建单元将多个并行深度神经网络DNN与强化学习算法Q ‑learning相 结合， 构建一个并行的深度强化学习算法， 进行服 务缓存决策； 所述训练单元在训练阶段中依据当前状态以贪婪策略选择一个动作 执行， 得到奖励和 下一个状态， 将得到的状态转换存储至经验池中； 当经验池D存储的容量足够大时， 从经验 池中提取一定数量的状态转换去训练网络参数； 所述决策单元在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入 动作集合中， 计算每 个缓存决策获得的相应奖励， 以奖励最大的缓存决策作为输出动作。 9.根据权利要求8所述的系统， 其特征在于， 所述算法构建单元将服务最优化缓存问题 描述为一个马尔可夫决策过程； 所述马尔可夫决策过程由状态空间S、 动作空间A和奖励函 数R三个部分组成。 10.根据权利要求9所述系统， 其特征在于， 所述算法构建单元所构建的并行的深度强 化学习算法中， 所述深度神经网络DNN的动作执行为并行执行， 所述深度神经网络DNN包括 两个具有相同结构但参数不同的神经网络结构； 一个是用于预测所述强化学习算法Q ‑ learning的Q估计值的主神经网络， 拥有最新的网络参数； 另一个是用于预测所述强化学习 算法Q‑learning的Q实际值的目标神经网络， 使用的参数是一段时间以前的参数， 且一段时 间保持不变。权　利　要　求　书 2/2 页 3 CN 114328291 A 3