基于改进<i>K</i>-means的电力数据异常检测算法

吴蕊; 张安勤; 田秀霞; 张挺

doi:10.3969/j.issn.1000-5641.201921012

基于改进K-means的电力数据异常检测算法

doi: 10.3969/j.issn.1000-5641.201921012

上海电力大学计算机科学与技术学院, 上海　200090

基金项目: 国家自然科学基金(61772327, 61532021)

详细信息

通讯作者:
张安勤, 女, 副教授, 硕士生导师, 研究方向为数据挖掘、普适计算. E-mail: aqz612@sina.com

中图分类号: TP393
计量
- 文章访问数: 283
- HTML全文浏览量: 216
- PDF下载量: 25
- 被引次数: 0
出版历程
- 收稿日期: 2019-08-25
- 网络出版日期: 2020-07-20
- 刊出日期: 2020-07-20

Anomaly detection algorithm based on improved K-means for electric power data

College of Computer Science and Technology, Shanghai University of Electric Power, Shanghai　200090, China

摘要

摘要: 异常检测方法在电力领域有着广泛的应用, 如设备故障检测和异常用电检测等. 改进了传统K-means聚类随机选择初始聚类中心的策略; 结合数据对象的密集度与最大近邻半径, 选择更加接近实际簇中心的数据点作为初始聚类中心, 并在此基础上提出了一种基于改进K-means算法的电力数据异常检测新方法. 实验表明, 上述算法具有更优的聚类效果和异常检测性能, 并且在应用于电力领域时, 算法可以有效地检测出异常电力数据.
- 初始聚类中心 /
- 密集度 /
- 异常检测
Abstract: Anomaly detection methods are widely used for applications in the field of electric power, such as equipment fault detection and abnormal electricity consumption detection. The proposed algorithm combines densities of data objects with the maximum neighborhood radius to select data points that are closer to actual cluster centers for the initial selection; this, in turn, improves random selection of the initial cluster centers. In addition, a new anomaly detection method based on an improved K-means algorithm for electric power data is proposed. Experiments show that the algorithm is more suitable in both clustering performance and anomaly detection. When this algorithm is applied to the field of electric power, abnormal data can be effectively detected.
- initial cluster centers /
- density /
- anomaly detection

HTML全文

图 1 不同初始聚类中心的聚类结果

Fig. 1 Clustering results for different initial clustering centers

下载: 全尺寸图片幻灯片

图 2 电力数据集异常检测结果

Fig. 2 Anomaly detection result with the Power Data Set

下载: 全尺寸图片幻灯片

图 3 每日净电能输出曲线图

Fig. 3 Daily net power output curves

下载: 全尺寸图片幻灯片

图 4 每日净电能输出异常曲线图

Fig. 4 Daily net power output anomaly curves

下载: 全尺寸图片幻灯片

表 1 帕金森数据集聚类效果对比

Tab. 1 Comparison of clustering effects with the Parkinson Data Set

数据编号	K-means算法		改进聚类算法
数据编号	迭代次数	准确率/%	迭代次数	准确率/%
1	9.22	87.3	5.00	94.7
2	5.60	77.5	3.00	83.2
3	4.95	85.2	3.00	85.2

下载: 导出CSV

表 2 实验数据描述

Tab. 2 Description of the experimental data

数据编号	测试类型	健康数据个数	患者数据个数
1	SST	1 000	1 000
2	DST	1 000	1 000
3	STCP	1 000	1 000

下载: 导出CSV

表 3 电力数据集聚类效果对比

Tab. 3 Comparison of the clustering effects with the Power Data Set

数据点数	K-means算法			改进聚类算法
数据点数	迭代次数	初始$\delta_{\rm{SSE}}$	最终$\delta_{\rm{SSE}}$	迭代次数	初始$\delta_{\rm{SSE}}$	最终$\delta_{\rm{SSE}}$
50	4.20	13 808.87	9 926.93	2.00	9 456.70	8 371.23
100	11.35	32 330.77	17 601.45	11.00	22 834.83	17 041.83
200	16.56	68 057.61	37 102.86	13.00	49 657.09	36 543.46
500	20.34	184 712.27	89 269.38	14.00	107 457.25	88 198.69
800	22.26	251 139.97	148 635.59	15.00	182 982.26	142 059.20
1 000	26.55	384 336.06	188 230.77	17.00	221 240.81	178 428.89

下载: 导出CSV

表 4 帕金森数据集异常检测性能对比

Tab. 4 Comparison of the anomaly detection performance with the Parkinson Data Set

数据编号	文献[14]异常检测算法		本文异常检测算法
数据编号	检测率/%	误检率/%	检测率/%	误检率/%
4	70.0	9.6	75.0	6.0
5	83.0	20.1	83.0	10.9
6	88.0	11.2	96.0	7.4

下载: 导出CSV

表 5 实验数据描述

Tab. 5 Description of the experimental data

数据编号	测试类型	健康数据个数	患者数据个数
4	SST	1 000	100
5	DST	1 000	100
6	STCP	1 000	100

下载: 导出CSV

参考文献(15)

[1]	邱承武, 宓群超. 利用电力数据四级网实现小电厂数据的采集 [J]. 电力系统自动化, 2006, 30(3): 105-106. DOI: 10.3321/j.issn:1000-1026.2006.03.020.
[2]	秦璇. 电力统计数据的质量评估及其异常检测方法研究 [D]. 长沙: 长沙理工大学, 2013.
[3]	刘冬兰, 马雷, 刘新, 等. 基于深度学习的电力大数据融合与异常检测方法 [J]. 计算机应用与软件, 2018, 35(4): 61-64. DOI: 10.3969/j.issn.1000-386x.2018.04.011.
[4]	蒋盛益, 姜灵敏. 一种高效异常检测方法 [J]. 计算机工程, 2007, 33(7): 166-168. DOI: 10.3969/j.issn.1000-3428.2007.07.060.
[5]	MA J, CHEN Y S, HUANG Z Y, et al. Detect abnormal SCADA data using state estimation residuals [C]// IEEE Transmission & Distribution Conference & Exposition. IEEE, 2010.
[6]	王桂兰, 周国亮, 赵洪山, 等. 大规模用电数据流的快速聚类和异常检测技术 [J]. 电力系统自动化, 2016, 40(24): 27-33. DOI: 10.7500/AEPS20160123002.
[7]	庄池杰, 张斌, 胡军, 等. 基于无监督学习的电力用户异常用电模式检测 [J]. 中国电机工程学报, 2016, 36(2): 379-387.
[8]	MACQUEEN J. Some methods for classification and analysis of multivariate observe [C]// Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability. 1967: 281-297.
[9]	行小帅, 潘进, 焦李成. 基于免疫规划的K-means聚类算法 [J]. 计算机学报, 2003, 26(5): 605-610. DOI: 10.3321/j.issn:0254-4164.2003.05.012.
[10]	段桂芹. 基于均值与最大距离乘积的初始聚类中心优化K-means算法 [J]. 计算机与数字工程, 2015, 43(3): 379-382. DOI: 10.3969/j.issn1672-9722.2015.03.008.
[11]	李炎, 李皓, 钱肖鲁, 等. 异常检测算法分析 [J]. 计算机工程, 2002, 28(6): 5-6. DOI: 10.3969/j.issn.1000-3428.2002.06.003.
[12]	ISENKUL M E, SAKAR B E, KURSUN O, et al. Improved spiral test using digitized graphics tablet for monitoring Parkinson’s disease [C]// The 2nd International Conference on e-Health and Telemedicine. 2014: 171-175.
[13]	SAKAR B E, ISENKUL M E, SAKAR C O, et al. Collection and analysis of a parkinson speech dataset with multiple types of sound recordings [J]. IEEE Journal of Biomedical and Health Informatics, 2013, 17(4): 828-834. DOI: 10.1109/JBHI.2013.2245674.
[14]	左进, 陈泽茂. 基于改进K均值聚类的异常检测算法 [J]. 计算机科学, 2016, 43(8): 258-261. DOI: 10.11896/j.issn.1002-137X.2016.08.052.
[15]	韩最蛟. 基于数据密集性的自适应K均值初始化方法 [J]. 计算机应用与软件, 2014, 31(2): 182-187. DOI: 10.3969/j.issn.1000-386x.2014.02.049.