Применение концепции активных хранилищ в задачах обработки данных сейсмических наблюдений
Автор: Тютляева Екатерина Олеговна, Московский Александр Александрович, Конюхов Сергей Станиславович, Курин Евгений Александрович
Статья в выпуске: 1 т.2, 2013 года.
Бесплатный доступ
Предложен подход для организации распределенной обработки сейсмических данных на базе свободно распространяемого пакета Seismic Un*x и системы активного хранения данных с использованием TSim и ФС Lustre. В работе рассмотрены ключевые проблемы обработки сейсмических данных, и для каждой предложено и обосновано использование соответствующего инструмента из арсенала системы активного хранения данных. Обработка данных непосредственно на узлах хранения позволяет продемонстрировать значительную эффективность за счет минимизации количества дорогостоящих операций передачи данных по сети. Проведено исследование производительности разработанного программного прототипа по обработке сейсмических данных в системе активного хранения для оценки перспектив полноценной интеграции.
Активные хранилища, обработка сейсмических данных, распределенное хранение и обработка данных
Короткий адрес: https://sciup.org/147160488
IDR: 147160488 | УДК: 004.046
Applying active storage approach for seismic data processing tasks
In this paper, we propose an approach to distributed seismic data processing using active storage system based on TSim C++H Library and Lustre file System and open-source package Seismic Un*x. Data processing using storage nodes demonstrates dramatic performance increase by avoiding redundant data transfers over networks, interconnects, or storage busses. Performance tests of developed programming prototype of seismic data processing in active storage system allows to evaluate integration prospects.
Список литературы Применение концепции активных хранилищ в задачах обработки данных сейсмических наблюдений
- Курин E.A. Сейсморазведка и суперкомпьютеры/Е.А. Курин//Вычислительные методы и программирование. -2011. -№ 1. -С. 38-43.
- Camp W.J. Trends for high-performance scientific computing/W.J. Camp, P. Thierry//The Leading Edge. -2010. -P. 44-47.
- Stockwell J. Домашняя страница библиотеки Seismic Un*x/J. Stockwell. -URL: http://www.cwp.mines.edu/cwpcodes/(дата обращения: 28.12.2012).
- Распределенный архив изображений дистанционного зондирования Земли/А.А. Московский, А.Ю. Первин, Е.О. Тютляева, Е.В. Шевчук//Программные продукты и системы. -2009. -№ 2(86). -С. 40-42.
- Московский А.А. Параллельная реализация модели map-reduce с использованием шаблонных классов C++/А.А. Московский, А.Ю. Первин, Е.О. Тютляева//Программные продукты и системы. -2009. -№ 2(86). -С. 53-57.
- Tyutlyaeva E.O. An Initial Approximation to the Resource-Optimal Checkpoint Interval/E.O. Tyutlyaeva, A.A. Moskovsky//Parallel Computing Technologies, Lecture Notes in Computer Science. -2011. -V. 6873/2011. -P. 384-389.
- Wills J. Seismic Data Science: Reflection Seismology and Hadoop/J. Wills. -URL: http://www.cloudera.com/blog/2012/01/seismic-data-science-hadoop-use-case/(дата обращения: 18.12.2012).
