Очистка входных данных в автоматизированных системах контроля и учета энергоресурсов
Автор: Федосин Александр Сергеевич, Федосин Сергей Алексеевич
Журнал: Инфокоммуникационные технологии @ikt-psuti
Рубрика: Технологии компьютерных систем и сетей
Статья в выпуске: 2 т.14, 2016 года.
Бесплатный доступ
Проблемы качества данных характерны для крупных информационных систем. Статья включает классификацию проблем и предлагает двухэтапную процедуру очистки для временных рядов показаний приборов учета. Первый шаг предполагает использование иерархической кластеризации на основе Евклидовых расстояний, что позволит выделить наиболее «нетипичные» профили. Второй шаг включает применение статистической обработки для определения выбросов во временных рядах. Предполагается, что конечное решение об ошибочности значения принимает эксперт. Проведено сравнение двух способов выявления ошибочных данных: алгоритма «Supersmoother» и SD-метода.
Очистка данных, аскуэ, хранилище данных, алгоритм "supersmoother", иерархическая кластеризация, профиль энергопотребления, евклидово расстояние
Короткий адрес: https://sciup.org/140191825
IDR: 140191825 | DOI: 10.18469/ikt.2016.14.2.08
Список литературы Очистка входных данных в автоматизированных системах контроля и учета энергоресурсов
- Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1982. -465 с.
- Коренюк Т.С. Вопросы достоверности телеизмерений мощности в задачах ведения режима электроэнергетической системы//Современные проблемы науки и образования. №1, 2005. -С. 78-80.
- Саркисов С. А. Анализ основных особенностей сбора периодических типов данных в современных АСКУЭ//Наука, техника и образование. № 11(17), 2015. -С. С. 46-49.
- Федосин А.С., Савкина А.В. Проблемы качества данных в автоматизированных системах коммерческого учета потребления энергоресурсов//Прикаспийский журнал: управление и высокие технологии. №2, 2014. -С. 158-164.
- Jiyi Chen, Wenyuan Li, Adriel Lau, Jiguo Cao, Ke Wang. Automated Load Curve Data Cleaning in Power Systems//IEEE Transactions on Smart Grid. Vol. 1, № 2, September, 2010. -P. 213-221 DOI: 10.1109/TSG.2010.2053052
- Loureiro A., Torgo. L., Soares C. Outlier Detection Using Clustering Methods: a data cleaning application. URL: http://www. dcc.fc.up.pt/~ltorgo/Papers/ODCM.pdf (д.о. 15.09.2015).
- Luedicke J. Friedman's Super Smoother URL: http://fmwww.bc.edu/repec/bocode/s/supsmooth_doc.pdf (д.о. 13.05.2016).
- Rahm E., Do H.H. Data Cleaning: Problems and Current Approaches. URL: http://wwwiti.cs.uni-magdeburg.de/iti_db/lehre/dw/paper/data_cleaning. pdf (д.о.15.07.2015).
- Seo S. A Review and Comparison of Methods for Detecting Outliers in Univariate Data Sets. URL: http://d-scholarship.pitt.edu/7948/1/Seo.pdf (д.о. 13.05.2016).
- Zhang Xiaoxing, Sun Caixin. Dynamic intelligent cleaning model of dirty electric load data//Energy Conversion and Management. Vol. 49, № 4, April, 2008. -P. 564-569 DOI: 10.1016/j.enconman.2007.08.007
