Подход к восстановлению геомагнитных данных путём сопоставления суточных фрагментов временного ряда с равной геомагнитной активностью
Автор: Воробьва Гульнара Равилевна
Журнал: Компьютерная оптика @computer-optics
Рубрика: Численные методы и анализ данных
Статья в выпуске: 6 т.43, 2019 года.
Бесплатный доступ
Мониторинг параметров геомагнитного поля и его вариаций осуществляется главным образом с помощью наземных магнитных обсерваторий и вариационных станций. Однако несовершенство применяемой аппаратуры и задействованных каналов связи обусловливает наличие пропусков во временных рядах геомагнитных данных, что, наряду с пространственной анизотропией источников данных, создаёт значимые препятствия на пути их автоматизированной обработки. При этом известные методы импутации пропусков во временных рядах обеспечивают среднеквадратическую ошибку восстановления, существенно превышающую уровень, принятый для такого рода геофизических наблюдений. В настоящей работе предложен метод восстановления геомагнитных данных, основанный на статистических методах обработки временных рядов и принципах машинного обучения с использованием размеченных данных. Его отличительной особенностью является то, что признаковым описанием фрагмента временного ряда выступает пара предшествующего и следующего за ним фрагментов того же ряда, в совокупности образующих обучающую выборку для поиска недостающего фрагмента по набору его признаков с последующим линейным масштабированием для восстановления исходного тренда информационного сигнала. Приводятся оценки параметров временных рядов геомагнитных данных, при которых возможно применение предложенного метода для восстановления как суточных вариаций, так и фрагментов длительностью в несколько минут.
Восстановление временных рядов, обработка временных рядов, геомагнитные данные, машинное обучение, статистический анализ
Короткий адрес: https://sciup.org/140246530
IDR: 140246530 | DOI: 10.18287/2412-6179-2019-43-6-1053-1063
Approach to the recovery of geomagnetic data by comparing daily fragments of a time series with equal geomagnetic activity
Monitoring of geomagnetic field parameters and its variations is mainly carried out using ground-based magnetic observatories and variational stations. However, the imperfection of equipment used and the communication channels involved causes the presence of gaps in the time series of geomagnetic data, which, along with the spatial anisotropy of data sources, creates significant obstacles to their automated processing. In addition, the well-known methods for imputation of time series gaps provide the root-mean-square recovery error significantly exceeding the level acceptable for geophysical observations. Thus, the paper proposes a method for recovering geomagnetic data based on statistical methods for processing time series and machine learning principles using marked data and characterized by the fact that a pair of the time series fragments preceding and succeeding a missing fragment provide an indicative description of the time series fragment of interest, which together form a training sample to search for the missing fragment by a set of its attributes, followed by linear scaling to restore the original trend of an information signal. Analytical estimates of parameters of geomagnetic data time series are given, under which it is possible to apply the proposed method to recover both daily variations and several-minutes-long fragments.
Список литературы Подход к восстановлению геомагнитных данных путём сопоставления суточных фрагментов временного ряда с равной геомагнитной активностью
- Love, J.J. Missing data and the accuracy of magnetic-observatory hour means / J.J. Love // Annals of Geophysics. - 2001. - Vol. 27. - P. 3601-3610.
- Barkhatov, N.A. The method of artificial neuron networks as a procedure for reconstructing gaps in records of individual magnetic observatories from the data at other stations / N.A. Barkhatov, A.E. Levitin, S.Y. Sakharov // Geomagnetism and Aeronomy. - 2002. - Vol. 42. - P. 187-190.
- Vorobev, A.V. Approach to assessment of the relative informational efficiency of intermagnet magnetic observatories / A.V. Vorobev, G.R. Vorobeva // Geomagnetism and Aeronomy. - 2018. - Vol. 58, Issue 5. - P. 625-628.
- Geomagnetic observations and models / ed. by M. Mandea, M. Korte. - Netherlands: Springer, 2011. - P. 149-181.
- INTERMAGNET technical reference manual. Version 4.6 / ed. by S.-L. Benoit. - Edinburgh: INTERMAGNET, BGS, 2012. - 100 p.
- Soloviev, A. Mathematical tools for geomagnetic data monitoring and the INTERMAGNET Russian segment / A. Soloviev [et al.] // Data Science Journal. - 2013. -Vol. 12. - P. WDS114-WDS119.
- Хомутов, С.Ю. Обработка магнитных данных в обсерваториях (описание специализированного программного пакета): монография / С.Ю. Хомутов. - Паратунка, Камчатский край: ИКИР ДВО РАН, 2017. - 114 с.
- Richman, M. Missing data imputation through machine learning algorithms / M. Richman [et al.] // Artificial Intelligence Methods in the Environmental Sciences. - 2009. - P. 153-169.
- Bertsimas, D. From predictive methods to missing data imputation: An optimization approach / D. Bertsimas // Journal of Machine Learning Research. - 2018. - Vol. 18. - P. 1-39.
- Lopes, N. Handling missing values via a neural selective input model / N. Lopes // Neural Network World. - 2012. -No. 4/12. - P. 357-370.
- Abidin, N.Z. Performance analysis of machine learning algorithms for missing value imputation / N.Z. Abidin [et al.] // International Journal of Advanced Computer Science and Applications (IJACSA). - 2018. - Vol. 9(6). - P. 442-447.
- Liu, Yu. An overview and evaluation of recent machine learning imputation methods using Cardiac imaging Data / Yu. Liu, V. Gopalakrishnan // Data. - 2017. - Vol. 2, Issue 1. - 8.
- Кулаичев, А.П. Методах и средства комплексного анализа данных / А.П. Кулаичев. - М.: "ФОРУМ: ИНФРА", 2006. - 512 с.
- Волков, Е.А. Численные методах / Е.А. Волков. - М.: Наука, 1987.
- Бокс, Дж. Анализ временных рядов (прогноз и управление) / Дж. Бокс, Г. Дженкинс. - Вып. 1. - М.: Мир, 1974. - 408 с.
- Воробьёв, А.В. Индуктивный метод восстановления временных рядов геомагнитных данных / А.В. Воробьёв, Г.Р. Воробьёва // Трудах СПИИРАН. - 2018. - № 57. -С. 104-133.
- Takens, F. Detecting strange attractors in turbulence / F. Takens. - In: Dynamical systems and turbulence, Warwick 1980 / ed. by D. Rand, L.-S. Young. - Berlin, Heidelberg: Springer, 1981. - P. 366-381.
- Юмагулов, М.Г. Введение в теорию динамических систем / М.Г. Юмагулов. - СПб.: Лань, 2015. - 272 с.
- Лукашин, Ю.П. Адаптивные методах краткосрочного прогнозирования временных рядов / Ю.П. Лукашин. -М.: Финансы и статистика, 2003. - 416 с.
- Гадзиковский, В.И. Цифровая обработка сигналов / B.И. Гадзиковский. - М.: СОЛОН-Пресс, 2015. - 766 с.
- Аллен, Б. Д. Think DSP. Цифровая обработка сигналов на Python / Б. Д. Аллен. - М.: ДМК Пресс, 2017. - 160 с.
- Харченко, М.А. Корреляционный анализ / М.А. Харченко. - Воронеж: Изд-во ВГУ, 2008. - 31 с.