(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111626015.5 (22)申请日 2021.12.28 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 张新民　张雨桐　朱哲人　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 贾玉霞 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 119/04(2020.01) (54)发明名称 基于DBN-LSTM半监督联合模型的剩余使用 寿命预测方法 (57)摘要 本发明公开了一种基于DBN ‑LSTM半监督联 合模型的剩余使用寿命预测方法， 首先使用DBN 对多维时间序列历史信息进行数据融合提取机 器的健康指标特征； 其中DBN的构建分两个阶段， 首先使用大量的无标签数据集进行无监督学习 预训练， 然后使用有标签数据集进行微调。 将提 取的健康指标时间序列输入到LS TM中， 计算 当前 的剩余使用寿命。 进一步， 利用有标签样本数据 集将两个串联连接的神经网络同时进行有监督 训练更新权重， 在验证集中评估 预测结果并调整 参数获得优化模型。 训练得到的DBN ‑LSTM半监督 联合模型不仅有效提高了LSTM对剩余使用寿命 的预测能力， 而且同时提供了多维传感器数据的 特征融合结果， 能够有效表现当前机器的健康状 况， 为设备维护和保养提供了有效的参 考指标。 权利要求书3页 说明书11页 附图3页 CN 114218872 A 2022.03.22 CN 114218872 A 1.一种基于DBN ‑LSTM半监督联合模型的剩余使用寿命预测方法， 其特征在于， 所述 DBN‑LSTM半监督联合模型通过在输入层和深度LSTM神经网络之间增加DBN神经网络实现， 所述DBN神经网络用于数据融合； 所述深度LSTM神经网络用于剩 余使用寿命预测， 即RUL预 测； 该方法包括以下步骤： 步骤一： 收集设备数据， 组成数据集， 将数据集分为无标签训练集， 有标签训练集、 有标 签验证集， 根据不同工况进行 数据预处 理； 步骤二： 将所述无标签训练集输入给所述DBN神经网络进行无监督预训练， 训练得到的 DBN神经网络将多维传感器特 征压缩为 健康特征指标， 得到若干健康指数HI时间序列； 步骤三： 将健康指数HI时间序列输入到深度LSTM神经网络中， 由深度LSTM神经网络计 算获得RUL预测值； 步骤四： 基于RUL的预测值和真实值之间的误差计算损失函数， 采用有标签训练集通过 RMSprop梯度自适应对DBN ‑LSTM半监督联合模型中的深度LSTM神经网络进行训练， 同时对 DBN神经网络的参数进行微调； 有标签验证集的误差结果小于一定值或其变化量小于一定 值， 同时模型训练的损失函数达 到收敛时， 模型训练结束并保存DBN ‑LSTM半监 督联合模型； 步骤五： 将待预测的设备数据预处理后输入到保存 的DBN‑LSTM半监督联合模型中， 得 到实时输出的HI和RUL数值。 2.根据权利要求1所述的基于DBN ‑LSTM半监督联合模型的剩余使用寿命预测方法， 其 特征在于， 所述 步骤一中的有标签数据集 为： Xo＝{(xit， rulit)|i≤n， t≤Ti}  (1) 其中， rulit为t时刻的剩余使用寿命的值， rulit＝Ti‑t  (2) 当设备完全无法使用时， rulit为0， 且所有的rulit是按时序逆向增 加； xit为第i个传感器数据从初始到时间t的序列， xit＝[xi(1)， xi(2)，…， xi(t)]  (3) 其中， xi为第i个传感器数据从初始到时间Ti的序列， xi＝[xi(1)， xi(2)，…， xi(Ti)]  (4) 所述预处理包括归一化处理和滑动 时间窗采样处理； 其中， 归一化处理包括全局归一 化和条件归一化， 当设备数据为不同工况下的数据时， 进行条件归一化， 否则， 进行全局归 一化。 3.根据权利要求1所述的基于DBN ‑LSTM半监督联合模型的剩余使用寿命预测方法， 其 特征在于， 所述步骤二中， 向DBN中输入多传感器信息多维时间序列， DBN将多维数据压缩为 一维， 最后输出包 含健康指标HI时间序列的集 合； 所述DBN的搭建和预训练过程如下： 通过Gibbs采样使RBM获得抽样样本， 给定隐藏层值， 对可见层进行采样； 当给定可见层 值时， 对隐藏层进行采样； 采用近似的对比散度算法， 有如下的马尔可 夫链步骤： h(n+1)＝σ(W′v(n)+bh)  (5) v(n+1)＝σ(Wh(n+1)+bv)  (6) σ 表示n+1步的隐藏层和可见层的激活函数， h(n+1)表示第n+1步得到的隐藏层， v(n+1)表示权　利　要　求　书 1/3 页 2 CN 114218872 A 2第n+1步得到的可 见层， W′、 W为权重参数； bh、 bv分别表示隐藏层和可 见层的偏差； 利用n+1步重构得到的可 见层v(n+1)更新参数： Δcj＝p(Hi＝1|v(0))‑p(Hi＝1|v(k))  (9) 其中， Δωij、 Δbj、 Δcj分别表示RBM参数的变化 量， k表示RBM的层数； 对RBM进行堆叠和贪婪训练形成DBN； DBN包含一个可见层和多个隐藏层， 用于学习提取 训练数据的较深层次表示； DBN的可 见层和l层的隐藏层的联合密度函数为： v＝h0  (11) 在获得可见层的传感器采样数据之后， DBN神经网络首先完成第一个RBM的训练， 然后， 将第一层RBM的隐藏层用作第二层RBM的可见层， 以形成第二层RBM， 以此类推， 得到多层堆 叠的RBM网络， 进 而得到初步预训练的DBN神经网络 。 4.根据权利要求1所述的基于DBN ‑LSTM半监督联合模型的剩余使用寿命预测方法， 其 特征在于， 所述 步骤三具体分为如下的子步骤： 深度LSTM网络 由多层LSTM堆叠而成， 每一层LSTM的向量维度可变； HI健康指标通过第 一层LSTM解码为多维的传感器时间序列， 深度LSTM网络的上一层的输出作为下一层的输 入， 第l层的更新公式如下： 其中， l表示深度LSTM神经网络的层数， t表示LSTM某 时刻的单元数， 表示第l层t 时刻 的输入单元， 表示第l层t时刻的遗忘单元， 表示第l层t时刻的输出单元， 表示第l层t 时刻的状态单元， 表示第l层t时刻的隐藏单元， σ 表示sigmoid激活函数， ⊙表示元素乘法 计算， tanh表示tanh 激活函数， 表示第l‑1层t时刻的隐藏单 元权重， 表示第l层t ‑1时刻的隐藏单 元权重， 表示偏差； 最后一层的LSTM神经网络的最后一单元输出多维特征向量， 经过线性层计算， 得到RUL 预测值。 5.根据权利要求1所述的基于DBN ‑LSTM半监督联合模型的剩余使用寿命预测方法， 其 特征在于， 所述 步骤四通过如下的子步骤来实现： (1)深度LSTM神经网络的输入层是DBN ‑LSTM半监督联合模型的第l层， 包含n个神经元， DBN神经网络的输出层则是DBN ‑LSTM半监督联合模型的第l ‑1层， 只有一个神经元； 设计 DBN‑LSTM半监督联合模型的第l层和l ‑1层的神经元误差δl、 δl‑1， 用于实现DBN神经网络和 深度LSTM神经网络的同步训练；权　利　要　求　书 2/3 页 3 CN 114218872 A 3