中国综合性科技类核心期刊(北大核心)

中国科学引文数据库来源期刊(CSCD)

美国《化学文摘》(CA)收录

美国《数学评论》(MR)收录

俄罗斯《文摘杂志》收录

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于变分自编码器的日线损率异常检测研究

张国芳 刘通宇 温丽丽 郭果 周忠新 袁培森

张国芳, 刘通宇, 温丽丽, 郭果, 周忠新, 袁培森. 基于变分自编码器的日线损率异常检测研究[J]. 华东师范大学学报(自然科学版), 2020, (5): 146-155. doi: 10.3969/j.issn.1000-5641.202091013
引用本文: 张国芳, 刘通宇, 温丽丽, 郭果, 周忠新, 袁培森. 基于变分自编码器的日线损率异常检测研究[J]. 华东师范大学学报(自然科学版), 2020, (5): 146-155. doi: 10.3969/j.issn.1000-5641.202091013
ZHANG Guofang, LIU Tongyu, WEN Lili, GUO Guo, ZHOU Zhongxin, YUAN Peisen. Research on abnormal detection of daily loss rate based on a variational auto-encoder[J]. Journal of East China Normal University (Natural Sciences), 2020, (5): 146-155. doi: 10.3969/j.issn.1000-5641.202091013
Citation: ZHANG Guofang, LIU Tongyu, WEN Lili, GUO Guo, ZHOU Zhongxin, YUAN Peisen. Research on abnormal detection of daily loss rate based on a variational auto-encoder[J]. Journal of East China Normal University (Natural Sciences), 2020, (5): 146-155. doi: 10.3969/j.issn.1000-5641.202091013

基于变分自编码器的日线损率异常检测研究

doi: 10.3969/j.issn.1000-5641.202091013
详细信息
    作者简介:

    张国芳, 女, 硕士, 高级工程师, 研究方向为电能量计量、综合能源管控与服务. E-mail: zhanggf1261@sc.sgcc.com.cn

    通讯作者:

    袁培森, 男, 博士, 副教授, 研究方向为大数据处理与分析. Email: peiseny@163.com

  • 中图分类号: TP391

Research on abnormal detection of daily loss rate based on a variational auto-encoder

  • 摘要: 采用一种基于自编码器的异常检测算法, 实现大规模日线损率数据的异常检测. 变分自编码器是一种利用反向传播算法使得输出值近似等于输入值的神经网络, 使用自编码器将原始日线损率时间序列编码, 在重建过程中记录每个时间点的重建概率, 当重建概率大于指定阈值时就判定其为异常数据. 本文利用真实日线损数据进行实验, 试验结果表明, 基于自编码器的日线损率异常检测算法具有较好的检测效果.
  • 图  1  日线损率异常值示意图

    Fig.  1  Illustration of daily loss rate anomalies

    图  2  基于自编码器的异常值检测原理示意图

    Fig.  2  Principle diagram of anomaly detection based on an auto-encoder

    图  3  变分自编码器的编码器和解码器神经网络示意图

    Fig.  3  Illustration of encoder and decoder of VAE

    图  4  变分自编码器原理示意图

    Fig.  4  Principle diagram of VAE

    图  5  基于自编码器的日线损率异常检测方法的框架示意图

    Fig.  5  Process diagram of anomaly detection of daily line loss based on an auto-encoder

    图  6  参数THRESHOLD与异常值检测效果的关系

    Fig.  6  Relationship between parameter THRESHOLD and anomaly detection effect

    图  7  预处理和清洗后的日线损率数据示意图

    Fig.  7  Illustration of daily line loss data after preprocessing and cleaning

    图  8  日线损率数据的重建概率示意图

    Fig.  8  Illustration of reconstruction probability of daily line loss data

    图  9  基于编码器的日线损率异常检测结果示意图

    Fig.  9  Illustration of results for anomaly detection of daily line loss on VAE

    表  1  基于自编码器的日线损异常检测实验参数设置

    Tab.  1  Experimental parameter settings for anomaly detection of daily line loss based on VAE

    参数含义
    Epochs训练次数100
    BatchSize每批送入数据量128
    Shuffle是否随机打乱True
    THRESHOLD阈值α0.25
    下载: 导出CSV

    表  2  3种异常检测算法的对比实验结果

    Tab.  2  Results for experiment comparing the daily line loss data anomaly detection capability with different algorithms

    方法异常点个数准确率精确率召回率F1值
    本方法150.99631.00000.80000.8889
    孤立森林算法240.96250.79171.00000.8827
    基于DBSCAN的异常值检测算法 60.97630.83330.31580.4619
    下载: 导出CSV
  • [1] PASSERINI F, TONELLO A M. Smart grid monitoring using power line modems: Effect of anomalies on signal propagation[EB/OL]. (2019-01-21)[2020-07-01]. https://arxiv.org/pdf/1806.10991.pdf.
    [2] FANG X, MISRA S, XUE G, et al. Smart grid — The new and improved power grid: A survey [J]. IEEE Communications Surveys & Tutorials, 2012, 14(4): 944-980.
    [3] 林鸿, 方学民, 袁葆, 等. 电力物联网多渠道客户服务中台战略研究与设计 [J]. 供用电, 2019(6): 36-45.
    [4] 李炳森, 胡全贵, 陈小峰, 等. 电网企业数据中台的研究与设计 [J]. 电力信息与通信技术, 2019, 17(7): 29-34.
    [5] TAO F, ZHANG M, CHENG J, et al. Digital twin workshop: A new paradigm for future workshop [J]. Computer Integrated Manufacturing Systems, 2017, 23: 1-9.
    [6] 杨林瑶, 陈思远, 王晓, 等. 数字孪生与平行系统:发展现状、对比及展望 [J]. 自动化学报, 2019, 45(11): 2001-2031.
    [7] CHANDOLA V, BNAERJEE A, KUMAR V. Anomaly detection for discrete sequences: A survey [J]. IEEE Transactions on Knowledge & Data Engineering, 2012, 24(5): 823-839.
    [8] WITTEN I H, FRANK E. Data Mining: Practical Machine Learning Tools and Techniques [M]. 3rd ed. 北京: 机械工业出版社, 2005.
    [9] CHALAPATHY R, CHAWLA S. Deep learning for anomaly detection: A survey [EB/OL]. (2019-01-23)[2020-07-01]. https://arxiv.org/pdf/1901.03407.pdf.
    [10] 杨漾, 张诗军, 陈丰, 等. 电力大数据平台建设及实时线损异常检测应用 [J]. 现代计算机, 2016(36): 10-16.
    [11] 刘凤魁. 基于密度峰值聚类算法的电力大数据异常值检测及用电行为分析研究 [D]. 北京: 中国电力科学研究院, 2017.
    [12] 梁跃. 基于机器学习的电力用户用电异常检测技术研究 [D]. 北京: 北京邮电大学, 2019.
    [13] 余翔, 陈国洪, 李霆, 等. 基于孤立森林算法的用电数据异常检测研究 [J]. 信息技术, 2018, 42(12): 88-92.
    [14] SCHöLKOPF B, PLATT J, HOFMANN T. Greedy layer-wise training of deep networks [J]. Advances in Neural Information Processing Systems, 2007, 19: 153-160.
    [15] SEWAK M, SAHAY S K, RATHORE H. An overview of deep learning architecture of deep neural networks and autoencoders [J]. Journal of Computational and Theoretical Nanoscience, 2020, 17(1): 182-188.
    [16] 王雅思, 姚鸿勋, 孙晓帅, 等. 深度学习中的自编码器的表达能力研究 [J]. 计算机科学, 2015, 42(09): 56-60.
    [17] 唐朝辉, 朱清新, 洪朝群, 等. 基于自编码器及超图学习的多标签特征提取 [J]. 自动化学报, 2016(7): 1014-1021.
    [18] 张雪菲, 程乐超, 白升利, 等. 基于变分自编码器的人脸图像修复 [J]. 计算机辅助设计与图形学学报, 2020(3): 401-409.
    [19] GOODFELLOW I, BENGIO Y, COURVILLE A. Deep Learning [M]. Massachusetts: The MIT Press, 2016.
    [20] 宋辉, 代杰杰, 张卫东, 等. 基于变分贝叶斯自编码器的局部放电数据匹配方法 [J]. 中国电机工程学报, 2018, 38(19): 5869-5877.
    [21] KINGMA D, WELLING M. Auto-encoding variational bayes [EB/OL]. (2014-05-01)[2020-07-01]. https://arxiv.org/pdf/1312.6114.pdf.
    [22] 翟正利, 梁振明, 周炜, 等. 变分自编码器模型综述 [J]. 计算机工程与应用, 2019, 55(3): 1-9.
    [23] CHANDOLA V, BANERJEE A, KUMAR V. Anomaly detection [J]. ACM Computing Surveys, 2009, 41(3): 1-58.
    [24] AZUAJE F, WITTEN I, E F. WITTEN I H, et al. Data mining: Practical machine learning tools and techniques [J]. Biomedical Engineering Online - BIOMED ENG ONLINE, 2006(5): 1-2.
    [25] AN J, CHO S. Variational autoencoder based anomaly detection using reconstruction probability[C]// 2015-2 Special Lecture on IE. 2015: 1-10.
    [26] WANG C, TINDEMANS S, PAN K, et al. Detection of false data injection attacks using the autoencoder approach [EB/OL]. (2020-05-22)[2020-07-01]. https://arxiv.org/pdf/2003.02229.pdf.
    [27] WANG R, NIE K, WANG T, et al. Deep Learning for Anomaly Detection [C]//WSDM '20: Proceedings of the 13th International Conference on Web Search and Data Mining. 2020: 894-896.
    [28] LIU F T, TING K M, ZHOU Z. Isolation forest [C]// 2008 Eighth IEEE International Conference on Data Mining. 2008: 413-422.
    [29] TRAN T N, DRAB K, DASZYKOWSKI M. Revised DBSCAN algorithm to cluster data with dense adjacent clusters [J]. Chemometrics & Intelligent Laboratory Systems, 2013, 120: 92-96.
  • 加载中
图(9) / 表(2)
计量
  • 文章访问数:  117
  • HTML全文浏览量:  160
  • PDF下载量:  9
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-08-14
  • 网络出版日期:  2020-09-24
  • 刊出日期:  2020-09-24

目录

    /

    返回文章
    返回