Применение автокодировщика с дополненным контекстом в задаче прогнозирования льдов в Арктике
Автор: Григорьев Т. А.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика и управление
Статья в выпуске: 2 (58) т.15, 2023 года.
Бесплатный доступ
На примере задачи прогнозирования ледовой обстановки в Арктике в регионе Баренцева и Карского морей мы проводим исследование важности применения современных техник обучения глубоких нейросетевых моделей. На базе автокодировщика с дополненным контекстом мы показываем важность распутанности внутренних представлений модели в контексте этой задачи. Кроме того, мы показываем преимущества использования предобученной контрольной точки сети, демонстрируя более быструю сходимость процесса обучения к более оптимальному экстремуму. В качестве практического результата мы получаем систему прогнозирования ледовой обстановки, основанную на данных, используя новые архитектурные принципы - использование сети LSTM на внутренних представлениях автокодировщика для прогнозирования двумерных ледовых карт.
Распутывание внутренних представлений, трансфер обучения, модели, основанные на данных, краткосрочное прогнозирование состояния морского льда, компьютерное зрение, дистанционное зондирование
Короткий адрес: https://sciup.org/142238155
IDR: 142238155
Список литературы Применение автокодировщика с дополненным контекстом в задаче прогнозирования льдов в Арктике
- Bengio Y., Courville A., Vincent P. Representation Learning: A Review and New Perspectives // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2013. V. 35, N 8. P 1798–1828. URL: https://doi.org/10.1109/tpami.2013.50.
- Blockley E., et. al., The future of sea ice modeling: where do we go from here? // Bulletin of the American Meteorological Society. 2020. V. 101, N 8. E1304–E1311.
- Cavalieri D.J., Parkinson C.L., Vinnikov K.Ya. 30-year satellite record reveals contrasting arctic and antarctic decadal sea ice variability // Geophysical Research Letters. 2003. 30(18).
- Chi J., Kim H.-Ch. Prediction of arctic sea ice concentration using a fully data driven deep neural network // Remote Sensing. 2017. 9(12). URL: https://www.mdpi.com/2072-4292/9/12/1305.
- Grigoryev T., Verezemskaya P., Krinitskiy M., Anikin N., Gavrikov A., Trofimov I., Balabin N., Shpilman A., Eremchenko A., Gulev S., Burnaev E., Vanovskiy V. Data-driven shortterm daily operational sea ice regional forecasting // Remote Sensing. November 2022. 14(22):5837.
- Grigoryev T., Voynov A., Babenko A. When, why, and which pretrained GANs are useful? // International Conference on Learning Representations. 2022.
- Higgins I., Matthey L., Pal A., Burgess Ch.P., Glorot X., Botvinick M.M., Mohamed Sh., Lerchner A. beta-vae: Learning basic visual concepts with a constrained variational framework // 5th International Conference on Learning Representations, ICLR 2017, Toulon, France. April 24–26 2017 // Conference Track Proceedings. OpenReview.net. 2017.
- Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation. 1997. 9(8):1735–1780.
- Hunke E., Allard R., Blain Ph., Blockley E., Feltham D., Fichefet Th., Garric G., Grumbine R., Lemieux J.-F., Rasmussen T., et. al., Should sea-ice modeling tools designed for climate research be used for short-term forecasting? // Current Climate Change Reports. 2020. 6(4):121–136.
- Kern S., Lavergne Th., Notz D., Pedersen L.T., Tonboe R. Satellite passive microwave seaice concentration data set inter-comparison for arctic summer conditions // The Cryosphere. 2020. 14(7):2469–2493.
- Kern S., Lavergne Th., Notz D., Pedersen L.T., Tonboe R.T., Saldo R., Sorensen A.M. Satellite passive microwave sea-ice concentration data set intercomparison: closed ice and ship-based observations // The Cryosphere. 2019. 13(12):3261–3307.
- Kim J., Kim K., Cho J., Kang Y.Q., Yoon H.-J., Lee Y.-W. Satellite-based prediction of arctic sea ice concentration using a deep neural network with multi-model ensemble // Remote Sensing. 2019. 11(1).
- Kim Y.J., Kim H.-C., Han D., Lee S., Im J. Prediction of monthly arctic sea ice concentrations using satellite and reanalysis data based on convolutional neural networks // The Cryosphere. 2020. 14(3):1083–1104.
- Kingma D.P., Welling M. Auto-encoding variational bayes, 2013.
- Kuzminykh D., Kushnareva L., Grigoryev T., Zatolokin A. Category-learning with contextaugmented autoencoder // Информационные технологии и вычислительные системы. Cентябрь 2020. Вып. 3. С. 30–39.
- Li Y., Zhang R., Lu J., Shechtman E. Few-shot image generation with elastic weight consolidation // arXiv preprint arXiv:2012.02780, 2020.
- Lu J., Heygster G., Spreen G. Atmospheric correction of sea ice concentration retrieval for 89 GHZ AMSR-E Observations // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2018. 11(5):1442–1457.
- Mo S., Cho M., Shin J. Freeze discriminator: A simple baseline for fine-tuning gans // arXiv preprint arXiv:2002.10964. 2020.
- Noguchi A., Harada T. Image generation from small datasets via batch statistics adaptation // Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019. P. 2750–2758.
- Schmidhuber J. Learning factorial codes by predictability minimization // Neural Computation. November 1992. 4(6):863–879.
- Tavanaei A. Embedded encoder-decoder in convolutional networks towards explainable AI. 2020.
- Wagner P.M., Hughes N., Bourbonnais P., Stroeve J., Rabenstein L., Bhatt U., Little J., Wiggins H., Fleming A. Sea-ice information and forecast needs for industry maritime stakeholders // Polar Geography. 2020. 43(2–3):160–187.
- Wang L., Scott K.A., Clausi D.A. Sea ice concentration estimation during freeze-up from sar imagery using a convolutional neural network // Remote Sensing. 2017. 9(5).
- Wang Y., Gonzalez-Garcia A., Berga D., Herranz L., Khan F.Sh., van de Weijer J. Minegan: effective knowledge transfer from gans to target domains with few images // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. P. 9332–9341.
- Wang Y., Wu Ch., Herranz L., van de Weijer J., Gonzalez-Garcia A., Raducanu B. Transferring gans: generating images from limited data // Proceedings of the European Conference on Computer Vision (ECCV). 2018. P. 218–234.
- Zhao M., Cong Y., Carin L. On Leveraging Pretrained GANs for Generation with Limited Data // PCML. 2020.
- Kim Y.J., et. al., Prediction of monthly Arctic sea ice concentrations using satellite and reanalysis data based on convolutional neural networks // The Cryosphere. 2020. V. 14, N 3. P. 1083–1104. URL: https://tc.copernicus.org/articles/14/1083/2020/.
Статья научная
