说明:最全专利文库
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660188.9 (22)申请日 2021.12.31 (71)申请人 深圳前海微众 银行股份有限公司 地址 518027 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 梁永富 熊刚 江旻 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 代理人 雷航 (51)Int.Cl. G06F 30/27(2020.01) G06F 119/02(2020.01) (54)发明名称 一种数据异常检测方法及装置 (57)摘要 本发明实施例提供了一种数据异常检测方 法及装置, 该方法包括获取当前时刻的原始运维 数据; 原始运维数据包括多个运维指标的数据, 将原始运维数据输入至异常检测模 型, 得到原始 运维数据对应的重构数据; 异常检测模型是根据 历史的正常运维数据对VAE ‑GAN模型进行训练得 到的, 然后, 计算原始运维数据对应的重构数据 与原始运维数据之间的重构误差; 根据重构误 差, 确定原始运维数据中的异常指标。 如此, 可以 实现采用一个模 型对多维运维指标进行检测, 实 时地识别出原始运维数据中的异常指标, 从而可 以避免仅根据某一维度指标异常而判断为应用 实例异常的问题, 进而可以提高对应用实例的原 始运维数据异常检测的准确性。 权利要求书3页 说明书18页 附图5页 CN 114297936 A 2022.04.08 CN 114297936 A 1.一种数据异常检测方法, 其特 征在于, 包括: 获取当前时刻的原 始运维数据; 所述原 始运维数据包括多个运维指标的数据; 将所述原始运维数据输入至异常检测模型, 得到所述原始运维数据对应的重构数据; 所述异常检测模型 是根据历史的正常运维数据对V AE‑GAN模型进行训练得到的; 计算所述原 始运维数据对应的重构数据与所述原 始运维数据之间的重构误差; 根据所述重构误差, 确定所述原 始运维数据中的异常指标。 2.如权利要求1所述的方法, 其特征在于, 所述根据所述重构误差, 确定所述原始运维 数据中的异常指标, 包括: 若所述重构误差大于或等于误差阈值, 则确定所述原 始运维数据异常; 根据所述原始运维数据中每个运维指标的数据与所述原始运维数据对应的重构数据 中对应所述 运维指标的数据之间的重构误差, 确定所述原 始运维数据中的异常指标。 3.如权利要求2所述的方法, 其特征在于, 所述根据 所述原始运维数据中每个运维指标 的数据与所述原始 运维数据对应的重构数据中对应所述运维指标的数据之 间的重构误差, 确定所述原 始运维数据中的异常指标, 包括: 计算所述原始运维数据中每个运维指标的数据与所述原始运维数据对应的重构数据 中对应所述运维指标的数据之间的重构误差, 得到所述多个运维指标对应的多个重构误 差; 将所述多个运维指标对应的多个重构误差中的M个最大值所对应的运维指标确定为异 常指标, 所述M为 正整数。 4.如权利要求3所述的方法, 其特征在于, 所述计算所述原始运维数据对应的重构数据 与所述原 始运维数据之间的重构误差, 包括: 将所述多个运维指标对应的多个重构误差之和, 确定为所述重构数据与所述原始运维 数据之间的重构误差 。 5.如权利要求1 ‑4任一项所述的方法, 其特征在于, 所述将所述原始运维数据输入至异 常检测模型之前, 所述方法还 包括: 获取离线的历史运维数据; 将所述历史运维数据作为输入构建VAE ‑GAN模型, 以VAE ‑GAN模型的损失函数最小值为 优化目标对所述V AE‑GAN模型进行 无监督训练, 得到所述异常检测模型; 其中, 所述VAE ‑GAN模型包括VAE网络和GAN网络, 所述VAE网络包括编码器和解码器, 所 述编码器用于输出变分分布 所述解码器用于输出后验概率分布pθ(z|x); 所述 GAN网络用于约束所述编码器输出的变分分布 与后验概率分布pθ(z|x)之间的KL散 度最小, 以及用于约束所述 解码器输出的重构数据与历史运维数据之间的重构误差最小。 6.如权利要求5所述的方法, 其特征在于, 所述将所述历史运维数据作为输入构建VAE ‑ GAN模型, 包括: 根据历史运维数据的似然函数, 采用最大化对数似然函数的方式估计后验概率分布pθ (z|x)的参数θ; 根据以下公式(1)以及公式(2)将计算变分分布 与后验概率分布pθ(z|x)之间权 利 要 求 书 1/3 页 2 CN 114297936 A 2的KL散度最小值, 转换为 寻找参数 使得变分证据下界的值 最大: 其中, 为变分分布 与后验概率分布pθ(z|x)之间的KL 散度, 为变分证据下界; 根据所述 参数θ构建V AN网络的解码器, 根据参数 构建VAN网络的编码器; 在所述VAN网络的编码器的输出端增加分布约束的GAN判别器, 并在所述VAN的编码器 的输出端增加输出约束的GAN判别器, 得到VAE ‑GAN模型; 其中, 所述分布约束的GAN判别器 用于判别所述变分分布 与后验概率分布pθ(z|x)是否接近; 所述输出约束的GAN判 别器用于判别所述 解码器输出的重构数据与所述历史运维数据是否 接近。 7.如权利要求6所述的方法, 其特征在于, 以VAE ‑GAN模型的损失函数最小值为优化目 标对所述V AE‑GAN模型进行 无监督训练, 得到所述异常检测模型, 包括: 确定VAE‑GAN模型中分布约束的GAN判别器的损失函数: 其中, y为随机噪声, p(y)为低维的噪声分布, x为 真实样本, p(x)为 真实样本分布, DE(z) 表示输入的样本是 真实样本的概率, DE(GE(x))表示以编码器的输出结果作为输入的样本是 真实样本的概 率; 确定VAE‑GAN模型中与所述编码器等效的生成器的损失函数: 其中, x为真实样本, p(x)为真实样本分布, DE(GE(x))表示以编码器的输出结果作为输 入的样本是真实样本的概 率; 根据所述分布约束的GAN判别器的损失函数和所述解码器等效的生成器的损失函数的 最小值为目标, 约束编码器输出的变分 分布 与后验概 率分布pθ(z)之间的KL散度最 小, 不断优化所述V AE‑GAN模型; 确定VAE‑GAN模型中基于 输出约束的GAN判别器的损失函数: 其中, x为真实样本, p(x)为真实样本分布, 表示以输入的样本是真实样本的 概率, 表示以解码器的输出 结果作为输入的样本是真实样本的概 率; 确定与所述 解码器等效的生成器的损失函数: 其中, x为真实样本, p(x)为真实样本分布, 表示以解码器的输出结果权 利 要 求 书 2/3 页 3 CN 114297936 A 3
专利 一种数据异常检测方法及装置
文档预览
中文文档
27 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共27页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-19 05:19:04
上传分享
举报
下载
原文档
(1.7 MB)
分享
友情链接
信通院 2023大模型落地应用案例集 --大模型测试验证与协同创新中心-2023.pdf
GBT 41575-2022 未成年人互联网不健康内容分类与代码.pdf
GB-T 18451.1-2022 风力发电机组 设计要求.pdf
JR-T 0071.4—2020 金融行业网络安全等级保护实施指引 第4部分:培训指引.pdf
GB-T 42815-2023 债券价格指标产品描述规范.pdf
信创产业发展研究报告 2022.pdf
GB-T 26603-2011 N,N-二甲基苯胺.pdf
GB-T 42720-2023 电子特气 六氯乙硅烷.pdf
T-GHDQ 99—2022 智能网联汽车远程通信模块信息安全 测试规范.pdf
GB-T 6728-2017 结构用冷弯空心型钢.pdf
信通院 量子信息技术发展与应用研究报告 2023年.pdf
GB-T 26607-2011 工业用邻苯基苯酚.pdf
GM-T 0056-2018 多应用载体密码应用接口规范.pdf
GB-T 5231-2022 加工铜及铜合金牌号和化学成分.pdf
GB-T 20000.11-2016 标准化工作指南 第11部分:国家标准的英文译本通用表述.pdf
DB32-T 3840-2020 水利风景区评价规范 江苏省.pdf
YD-T 2702-2014 电信网和互联网安全防护基线配置要求及检测要求-中间件.pdf
T-NIFA 26—2023 移动金融客户端应用软件上架资质指引.pdf
GB-T 26249-2010 电子工业用气体 硒化氢.pdf
GB-T 37962-2019 信息安全技术 工业控制系统产品信息安全通用评估准则.pdf
1
/
3
27
评价文档
赞助2元 点击下载(1.7 MB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。