(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111400385.7 (22)申请日 2021.11.19 (71)申请人 长春师范大学 地址 130022 吉林省长 春市长吉北路67 7号 (72)发明人 李清亮　上官微　李骐宇　朱金龙　 胡晏铭　朱禹衡　崔欣怡　 (74)专利代理 机构 温州市品创专利商标代理事 务所(普通 合伙) 33247 代理人 吴海云 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) (54)发明名称 一种多变量注意的LSTM土壤温湿度预测模 型及预测方法 (57)摘要 本发明公开了一种多变量注意的LSTM土壤 温湿度预测模 型及预测方法， 其中的一种多变量 注意的LSTM土壤温湿度预测模型， 包括： 多特征 注意机制模块、 预测注意机制模块和时间注意机 制模块。 本发明提供了一种具有多特征注意机 制、 预测器注 意机制和时间注 意机制的可解释组 件， 用于总结所有预测器的多特征向量， 并对SM 和ST的变化进行建模。 通过SM和ST 的物理知识， 展示了预测因子和时间注意权重的可视化和解 释。 针对RF、 SVR、 ENET、 LSTM和A ‑LSTM模型对 ILSTM_土壤模型进行的大量实验评估表明， 该模 型具有优越的预测性能。 权利要求书2页 说明书5页 附图8页 CN 114065638 A 2022.02.18 CN 114065638 A 1.一种多变量注意的LSTM 土壤温湿度预测模型， 其特 征在于， 包括： 多特征注意机制模块:用于通过优化LSTM结构， 生成多维结构的特征向量， 然后融入多 特征注意机制模块， 使预测模型更加关注对提高预测精度有用的特征变量， 同时利用注意 力机制的可视化原理， 对预测模型的多特 征变量进行解释； 预测因子注意机制模块： 用于多特征注意机制模块融入多维结构的特征向量， 生成了 加强表征能力的特征向量， 在其基础上结合LSTM模型最后时间步长的隐藏向量， 生成预测 因子向量， 最后融入预测因子注意机制模块， 加强预测因子的特 征表示； 时间注意机制模块:用于在多特征注意机制模块加强表征能力的特征向量后， 融入原 始输入特征， 生成时间步长相同维度的时间特征向量， 并结合时间注意机制模块增强时间 步长的特 征表示。 2.一种多变量注意的LSTM 土壤温湿度预测方法， 其特 征在于， 包括： 动态地将多维特征权重分配给多维特征向量， 并解释在模型在最初状态学习时， 所有 预测因子在不同时间步长的不同作用； 动态地将特 征权重分配给 预测器特 征， 并解释所有预测器的不同作用； 动态地为时间特 征分配特 征权重， 并解释预测变量的时间相关性。 3.根据权利要求2所述的多变量注意的LSTM土壤温湿度 预测方法， 其特征在于， 所述多 变量注意的LSTM 土壤温湿度预测方法具体包括： 在获得多特征向量F后， 应用多特征注意机制和线性神经网络生成预测特征和时间特 征， 多特征注意机制由线性神经网络NetLinea#1和softmax层组成； 将大小为[batchsize， T， N， d]的张量转换为大小为[batch  size， T， N， 1]的张量和 softmax层定义如下： 其中， 归一化操作旨在确保权重的有限可加性； 多特征注意机制(每个预测器的时间重 要性)可定义如下： mf_at＝softmax(NetLinea#1(xt))                    (8) 预测特征[ FP1,FP2,...,FPn,...,FPN‑1,FPN]， 基于线性神经网络生成， 该神 经网络以大小[批次大小， T， N， d]转换为大小[批次大小， 1， N， d]的张量； 基于线性神经网络NetLinea#2生成时间特征FPPP、 FTR， 将mf_xt转换为大小为 [batchsize， T， 1， d]的张量； 预测注意机制和时间注意机制均由两个线性神经网络和一个softmax层组成； 基于预测特 征和多特 征的级联向量 提出了预测注意机制， 用于汇总所有时间步的特征向量， 以增强所有预测 因子和预测 变量之间的相关性；权　利　要　求　书 1/2 页 2 CN 114065638 A 2预测注意机制的线性神经网络将大小为[batch  size， N， 2*d]的张量转换为大小为 [batch size， N， 1]的张量， 预测器注意机制运行后， 可以得到丰富的预测器特征， 预测器注 意权重代表所有预测器的不同角色； 时间注意机制用于汇总所有预测器的特征向量， 基于时间特征和输入数据的级联向量 来增强预测变量的时间相关性； 时间注意机制的线性神经网络将大小为[batch  size， T， d+N]的张量转换为大小为 [batch size， T， 1]的张量。权　利　要　求　书 2/2 页 3 CN 114065638 A 3