Система обработки изображений с автоматическим распараллеливанием на основе MapReduce
Автор: Созыкин Андрей Владимирович, Гольдштейн Михаил Людвигович
Рубрика: Программирование
Статья в выпуске: 27 (286), 2012 года.
Бесплатный доступ
Целью работы является создание системы обработки изображений в параллельном режиме под управлением Apache Hadoop на основе технологии MapReduce, которая скрывает от прикладного программиста детали внутреннего устройства Hadoop и предоставляет простой программный интерфейс для работы с изображением, уже загруженным в память. Основными результатами являются архитектура системы обработки изображений с автоматическим распараллеливанием на основе Hadoop и ее практическая реализация в виде первой очереди комплекса программ. Созданный комплекс программ применен для обработки изображений от системы Particle Image Velocimetry (источник данных - проект PIV Challenge). Тестирование комплекса программ на кластере Hadoop из четырех узлов показало почти линейную масштабируемость. Практическое применение возможно в научной сфере (обработка изображений от физических экспериментальных установок, астрономических наблюдений, спутниковых снимков земной поверхности и т.д.), медицине (обработка изображений, получаемых в результате применения высокотехнологичной медтехники) и коммерческих компаниях (анализ данных с камер видеонаблюдения в системах безопасности, в геоинформационных системах и т.п.). Предложенный подход позволяет повысить производительность обработки изображений за счет применения параллельных вычислительных систем и повышает эффективность работы прикладных программистов, позволяя им концентрироваться на алгоритмах обработки изображений, а не на деталях параллельной реализации.
Обработка изображений, распределенная файловая система, автоматизация распараллеливания
Короткий адрес: https://sciup.org/147159144
IDR: 147159144 | УДК: 004.932
MapReduce-based image processing system with automated parallelization
The article describes a parallel image processing framework based on the Apache Hadoop and the MapReduce programming model. The advantage of the framework is an isolation of the details of the parallel execution from the application software developer by providing simple API to work with the image, which is loaded into memory. The main results of the work are the architecture of the Hadoop-based parallel image processing framework and the prototype implementation of this architecture. The prototype has been used to process the data from the Particle image velocimetry system (the data from the PIV challenge project have been used). Evaluation of the prototype on the four-node Hadoop cluster demonstrates near linear scalability. The results can be used in science (processing images from the physics experimental facilities, astronomical observations, and satellite pictures of a terrestrial surface), in medical research (processing images from hi-tech medical equipment), and in enterprises (analysis of data from security cameras, geographic information systems, etc.). The suggested approach provides the ability to increase the performance of image processing by using parallel computing systems, and helps to improve the work efficiency of the application developers by allowing them to concentrate on the image processing algorithms instead of the details of parallel implementation.
Список литературы Система обработки изображений с автоматическим распараллеливанием на основе MapReduce
- Horowitz, M. The peta age/M. Horowitz. [Электронный ресурс]. URL: http://www.wired.com/images/press/pdf/petaage.pdf (дата обращения 29.05.2012).
- Apache Hadoop [Электронный ресурс]. URL: http://hadoop.apache.org/(дата обращения 29.05.2012).
- Dean, J. MapReduce: simplified data processing on large clusters/J. Dean, S. Ghemawat//Commun. ACM. -2008. -№51(1). -P. 107-113.
- Ghemawat, S. The Google File System/S. Ghemawat, H. Gobioff, S.T. Leung//19th ACM Symposium on Operating Systems Principles, Lake George, N.Y., 2003. -P. 29-43.
- Hadoop Distributed File System [Электронный ресурс]. URL: http://hadoop.apache.org/hdfs (дата обращения 29.05.2012).
- Hays, J. IM2GPS: estimating geographic information from a single image/J. Hays, A.A. Efros//Proceedings of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). -2008. -P. 1-8.
- Astronomy in the Cloud: Using MapReduce for Image Co-Addition/K. Wiley, A. Connolly, J. Gardner, S. Krughoff, M. Balazinska, B. Howe, Y. Kwon, Y. Bu//Publications of the Astronomical Society of the Pacific. -2011. -V. 123, №901. -P. 366-380.
- Wiley, K. Astronomical Image Processing with Hadoop/K. Wiley, A. Connolly, S. Krughoff, J. Gardner, M. Balazinska, B. Howe, Y. Kwon, Y. Bu//Astronomical Data Analysis Software and Systems XX. ASP Conference Proceedings. -2010. -V. 442. -P. 93-98.
- Kumar, S. Distributed image processing using hadoop mapreduce framework [Электронный ресурс]/S. Kumar, B.A. Fernandez. URL: http://search.iiit.ac.in/cloud/presentations/26.pdf (дата обращения 29.05.2012).
- Almeer, M.H. Cloud Hadoop Map Reduce For Remote Sensing Image Analysis/M.H. Almeer//J. of Emerging Trends in Computing and Information Sciences. -2012. -V. 3, №4. -P. 637 -644.
- Experiences on Processing Spatial Data with MapReduce/A. Cary, Z. Sun, V. Hristidis, N. Rishe//Proceedings of the 21st International Conference on Scientific and Statistical Database Management. Springer-Verlag Berlin, Heidelberg. -2009. -P. 302-319.
- HIPI: A Hadoop Image Processing Interface for Image-based MapReduce Tasks/C. Sweeney, L. Liu, S. Arietta, J. Lawrence, B.S. Thesis. -University of Virginia. Department of Computer Science. -2011. -P. 5.
- Adrian, R.J. Particle Image Velocimetry/R.J. Adrian, J. Westerweel. -Cambridge University Press. -2011. -584 p.
- PIV Challenge [Электронный ресурс]. URL: http://www.pivchallenge.org (дата обращения 29.05.2012).
- Мизева, И.А. Вейвлетные корреляции двумерных полей/И.А. Мизева, Р.А. Степанов, П.Г. Фрик//Вычислительные методы и программирование. -2006. -Т. 7. -C. 172-179.
- Шестаков, А.Л. Южно-Уральский государственный университет как стартовая площадка энергосберегающих технологий и использования возобновляемых источников энергии/А.Л. Шестаков, И.М. Кирпичникова//Альтернативная энергетика и экология. -2010.-№1. -С. 149-152.
