Отказоустойчивая система организации высокопроизводительных вычислений для решения задач обработки потоков данных
Автор: Талалаев Александр Анатольевич, Фраленко Виталий Петрович
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем
Статья в выпуске: 1 (36) т.9, 2018 года.
Бесплатный доступ
В работе представлен обзор существующих систем организации отказоустойчивых вычислений; рассмотрены функциональные характеристики разработанной высокопроизводительной системы на основе вычислительного ядра, специального интерфейса и прикладных модулей. В основе предлагаемой системы организации вычислений лежит распределенная NoSQL СУБД Apache Cassandra, обеспечивающая механизмы отказоустойчивого хранения и автоматической репликации данных в гетерогенной вычислительной среде. Система, оснащенная специальным графическим интерфейсом, позволяет разрабатывать решения для различных прикладных областей. Подключаемые модули могут выполнять в том числе и функции визуализации потоков данных.
Организация вычислений, база данных, отказоустойчивость, графический интерфейс, гетерогенная среда, модуль, визуализация
Короткий адрес: https://sciup.org/143164299
IDR: 143164299 | DOI: 10.25209/2079-3316-2017-9-1-85-108
Список литературы Отказоустойчивая система организации высокопроизводительных вычислений для решения задач обработки потоков данных
- В. А. Васенин, В. A. Роганов. GRACE: распределенные приложения в Internet//Открытые системы, 2001, №5. С. 29-33.
- Е. Н. Новиков, Р. Р. Валеев. Резервирование сервера технологических данных -путь к созданию отказоустойчивых технологических серверов//Промышленные АСУ и контроллеры, 2002, №7. С. 14-18.
- А. Н. Фирсов. Архитектура распределенной системы устойчивой к произвольным отказам//Девятая международная конференция-семинар "Высокопроизводительные параллельные вычисления на кластерных системах", 2009.
- M. Hovestadt. Fault tolerance mechanisms for sla-aware resource management//Parallel and Distributed Systems. Proceedings. 11th International Conference on. vol. 2 (Fukuoka, Japan, July 20-22, 2005).
- F. Heine, M. Hovestadt, O. Kao, A. Keller. SLA-aware Job Migration in Grid Environments//Grid Computing: New Frontiers of High Performance Computing, Elsevier. С. 185-201.
- M. Isard, M. Budiu, Y. Yu, A. Birrell, D. Fetterly. Dryad: Distributed Data-parallel Programs from Sequential Building Blocks//Proceedings of the 2007 Eurosys Conference (Lisboa, Portugal, March 21-23, 2007).
- Y. Yu, M. Isard, D. Fetterly, M. Budiu, Ú. Erlingsson, P. K. Gunda, J. Currey. DryadLINQ: A System for General-Purpose Distributed Data-Parallel Computing Using a High-Level Language//OSDI'08: Eighth Symposium on Operating System Design and Implementation USENIX (San Diego, California, USA, December 8-19, 2007).
- J. Ekanayake, T. Gunarathne, G. Fox, A. S. Balkir, C. Poulain, N. Araujo, R. Barga. DryadLINQ for Scientific Analyses//e-Science '09. Fifth IEEE International Conference on (Oxford, UK, December 9-11, 2009).
- F. McSherry, T. Rodeheffer. Using DryadLINQ for Large Matrix Operations, Microsoft Technical Report, 2011, MSR-TR-2011-140.
- D. C. Aiftimiei, M. Antonacci, S. Bagnasco, T. Boccali, R. Bucchi, M. Caballer, A. Costantini, G. Donvito, L. Gaido, A. Italiano. Geographically distributed Batch System as a Service: the INDIGO-DataCloud approach exploiting HTCondor//Journal of Physics: Conference Series, 2017.
- G. Suo, Y. Lu, X. Liao, M. Xie, H. Cao. NR-MPI: A non-stop and fault resilient mpi supporting programmer defined data backup and restore for e-scale super computing systems//Supercomputing frontiers and innovations, 2016, №1. С. 4-21.
- S. Kalid, A. Syed, A. Mohammad, M. N. Halgamuge. Big-Data NoSQL Databases: A Comparison and Analysis of "Big-Table", "DynamoDB", and "Cassandra"//Proceedings of the IEEE 2nd International Conference on Big Data Analysis (ICBDA'17) (Beijing, China, March 10-12, 2017). С. 89-93.
- В. П. Фраленко. Универсальный графический интерфейс визуального проектирования параллельных и параллельно-конвейерных приложений//Программные системы: теория и приложения, 2016, №3. С. 45-70.
- Н. С. Абрамов, А. А. Талалаев, В. П. Фраленко, В. М. Хачумов, О. Г. Шишкин. Высокопроизводительная нейросетевая система мониторинга состояния и поведения подсистем космических аппаратов по телеметрическим данным//Программные системы: теория и приложения, 2017, №3. С. 109-131.
