Система обработки изображений с автоматическим распараллеливанием на основе MapReduce
Автор: Созыкин Андрей Владимирович, Гольдштейн Михаил Людвигович
Рубрика: Программирование
Статья в выпуске: 27 (286), 2012 года.
Бесплатный доступ
Целью работы является создание системы обработки изображений в параллельном режиме под управлением Apache Hadoop на основе технологии MapReduce, которая скрывает от прикладного программиста детали внутреннего устройства Hadoop и предоставляет простой программный интерфейс для работы с изображением, уже загруженным в память. Основными результатами являются архитектура системы обработки изображений с автоматическим распараллеливанием на основе Hadoop и ее практическая реализация в виде первой очереди комплекса программ. Созданный комплекс программ применен для обработки изображений от системы Particle Image Velocimetry (источник данных - проект PIV Challenge). Тестирование комплекса программ на кластере Hadoop из четырех узлов показало почти линейную масштабируемость. Практическое применение возможно в научной сфере (обработка изображений от физических экспериментальных установок, астрономических наблюдений, спутниковых снимков земной поверхности и т.д.), медицине (обработка изображений, получаемых в результате применения высокотехнологичной медтехники) и коммерческих компаниях (анализ данных с камер видеонаблюдения в системах безопасности, в геоинформационных системах и т.п.). Предложенный подход позволяет повысить производительность обработки изображений за счет применения параллельных вычислительных систем и повышает эффективность работы прикладных программистов, позволяя им концентрироваться на алгоритмах обработки изображений, а не на деталях параллельной реализации.
Обработка изображений, распределенная файловая система, автоматизация распараллеливания
Короткий адрес: https://sciup.org/147159144
IDR: 147159144
Список литературы Система обработки изображений с автоматическим распараллеливанием на основе MapReduce
- Horowitz, M. The peta age/M. Horowitz. [Электронный ресурс]. URL: http://www.wired.com/images/press/pdf/petaage.pdf (дата обращения 29.05.2012).
- Apache Hadoop [Электронный ресурс]. URL: http://hadoop.apache.org/(дата обращения 29.05.2012).
- Dean, J. MapReduce: simplified data processing on large clusters/J. Dean, S. Ghemawat//Commun. ACM. -2008. -№51(1). -P. 107-113.
- Ghemawat, S. The Google File System/S. Ghemawat, H. Gobioff, S.T. Leung//19th ACM Symposium on Operating Systems Principles, Lake George, N.Y., 2003. -P. 29-43.
- Hadoop Distributed File System [Электронный ресурс]. URL: http://hadoop.apache.org/hdfs (дата обращения 29.05.2012).
- Hays, J. IM2GPS: estimating geographic information from a single image/J. Hays, A.A. Efros//Proceedings of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). -2008. -P. 1-8.
- Astronomy in the Cloud: Using MapReduce for Image Co-Addition/K. Wiley, A. Connolly, J. Gardner, S. Krughoff, M. Balazinska, B. Howe, Y. Kwon, Y. Bu//Publications of the Astronomical Society of the Pacific. -2011. -V. 123, №901. -P. 366-380.
- Wiley, K. Astronomical Image Processing with Hadoop/K. Wiley, A. Connolly, S. Krughoff, J. Gardner, M. Balazinska, B. Howe, Y. Kwon, Y. Bu//Astronomical Data Analysis Software and Systems XX. ASP Conference Proceedings. -2010. -V. 442. -P. 93-98.
- Kumar, S. Distributed image processing using hadoop mapreduce framework [Электронный ресурс]/S. Kumar, B.A. Fernandez. URL: http://search.iiit.ac.in/cloud/presentations/26.pdf (дата обращения 29.05.2012).
- Almeer, M.H. Cloud Hadoop Map Reduce For Remote Sensing Image Analysis/M.H. Almeer//J. of Emerging Trends in Computing and Information Sciences. -2012. -V. 3, №4. -P. 637 -644.
- Experiences on Processing Spatial Data with MapReduce/A. Cary, Z. Sun, V. Hristidis, N. Rishe//Proceedings of the 21st International Conference on Scientific and Statistical Database Management. Springer-Verlag Berlin, Heidelberg. -2009. -P. 302-319.
- HIPI: A Hadoop Image Processing Interface for Image-based MapReduce Tasks/C. Sweeney, L. Liu, S. Arietta, J. Lawrence, B.S. Thesis. -University of Virginia. Department of Computer Science. -2011. -P. 5.
- Adrian, R.J. Particle Image Velocimetry/R.J. Adrian, J. Westerweel. -Cambridge University Press. -2011. -584 p.
- PIV Challenge [Электронный ресурс]. URL: http://www.pivchallenge.org (дата обращения 29.05.2012).
- Мизева, И.А. Вейвлетные корреляции двумерных полей/И.А. Мизева, Р.А. Степанов, П.Г. Фрик//Вычислительные методы и программирование. -2006. -Т. 7. -C. 172-179.
- Шестаков, А.Л. Южно-Уральский государственный университет как стартовая площадка энергосберегающих технологий и использования возобновляемых источников энергии/А.Л. Шестаков, И.М. Кирпичникова//Альтернативная энергетика и экология. -2010.-№1. -С. 149-152.
