(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111562687.4 (22)申请日 2021.12.20 (71)申请人 国网汇通金财 （北京） 信息科技有限 公司 地址 100053 北京市西城区广安门内大街 311号祥龙商务大厦 (72)发明人 韩存良　高志超　于小磊　袁亮　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 钱湾湾 (51)Int.Cl. G06F 30/27(2020.01) G06F 119/02(2020.01) (54)发明名称 一种基于强化学习的财务流程挖掘方法和 相关装置 (57)摘要 本申请公开了一种基于强化学习的财务流 程挖掘方法和相关装置， 采用采样建立环境模型 的方式， 为决策的整个形成过程提供了更优的环 境基础。 通过强化学习planning方法的算法迭 代， 降低决策方案的误差， 使决策方案更加精确。 以决策规范约束和事实约束做预测， 使决策方案 能够实际应用于场景中， 提高可靠性和实用性。 最终为整个决策生成过程进行效能评估， 验证决 策生成过程的准确性， 提高最终决策的精准性和 安全性。 并突破了以往流程自动挖掘的固化技 术、 计算依赖模板的局限， 使得流程挖掘更易维 护， 生成的最终决策内容更加专业、 安全； 规避了 当前流程自动挖掘方法对流程可视化数据资源 的依赖， 在流程可视化数据资源的情况下仍能得 出最终决策。 权利要求书2页 说明书10页 附图5页 CN 114239406 A 2022.03.25 CN 114239406 A 1.一种基于强化学习的财务 流程挖掘方法， 其特 征在于， 所述方法包括： 通过采样 获取用户使用信 息系统产生的第 一事件日志， 事件日志中记载所述用户使用 所述信息系统进行 财务工作对应的财务 流程信息； 提取所述第一事件日志中的财务流程信息， 构建环境模型， 所述环境模型包括表示财 务流程的操作背景和操作环境； 获取第二事 件日志， 根据所述第二事 件日志更新所述环境模型； 通过关联型 决策分析和因果型 决策分析的方法建立初级业务决策要素权重模型， 经过 计划对更新后的环境模型做策略优化以实现算法迭代； 通过业务准则、 仿真推演和形势分析， 动态调整所述更新后的环境模型的参数； 针对每一代更新后的环境模型， 根据决策规范约束和事实约束做出的预测结果， 进行 效能评估； 根据每一代更新后的环境模型的效能评估结果， 确定 选择决策 方案。 2.根据权利要求1所述的方法， 其特征在于， 所述经过计划对所述更新后的环境模型做 策略优化以实现算法迭代， 包括： 根据所述更新后的环境模型生成仿真轨 迹； 根据所述仿真轨 迹估计值 函数； 根据所述 值函数进行 策略优化以实现算法迭代。 3.根据权利要求1所述的方法， 其特 征在于， 所述获取第二事 件日志， 包括： 通过平滑处理获取第二事 件日志。 4.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 所述事件日志为针对目标财务 流程信息， 所述用户使用所述信息系统进行 财务工作的次数少于预设数量。 5.一种基于强化学习的财务 流程挖掘装置， 其特 征在于， 所述装置包括： 获取单元， 用于通过采样获取用户使用信息系统产生的第一事件日志， 事件日志中记 载所述用户使用所述信息系统进行 财务工作对应的财务 流程信息； 构建单元， 用于提取所述第 一事件日志中的财务流程信 息， 构建环境模型， 所述环境模 型包括表示财务 流程的操作背景和操作环境； 更新单元， 用于根据获取的第二事 件日志更新所述环境模型； 迭代单元， 用于通过关联型 决策分析和因果型 决策分析的方法建立初级业务决策要素 权重模型， 经 过计划对更新后的环境模型做策略优化以实现算法迭代； 调整单元， 用于通过业务准则、 仿真推演和形势分析， 动态调整所述更新后的环境模型 的参数； 评估单元， 用于针对每一代更新后的环境模型， 根据决策规范约束和事实约束做出的 预测结果， 进行效能评估； 确定单元， 用于根据每一代更新后的环境模型的效能评估结果， 确定 选择决策 方案。 6.根据权利要求5所述的装置， 其特 征在于， 所述迭代单 元， 用于： 根据所述更新后的环境模型生成仿真轨 迹； 根据所述仿真轨 迹估计值 函数； 根据所述 值函数进行 策略优化以实现算法迭代。 7.根据权利要求5所述的装置， 其特 征在于， 所述更新单 元， 用于：权　利　要　求　书 1/2 页 2 CN 114239406 A 2通过平滑处理获取第二事 件日志； 根据所述第二事 件日志更新所述环境模型。 8.一种计算机设备， 其特 征在于， 所述设备包括处 理器以及存 储器： 所述存储器用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器用于根据所述 程序代码中的指令执 行权利要求1 ‑4任意一项所述的方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储计算机 程序， 所述计算机程序用于执 行权利要求1 ‑4任意一项所述的方法。 10.一种计算机程序产品， 其特征在于， 包括计算机程序或指令； 当所述计算机程序或 指令被处 理器执行时， 执行权利要求1 ‑4任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114239406 A 3