Средства, методы и алгоритмы эффективного распараллеливания вычислительной нагрузки в гетерогенных средах
Автор: Фраленко Виталий Петрович, Агроник Алексей Юрьевич
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем
Статья в выпуске: 3 (26) т.6, 2015 года.
Бесплатный доступ
Работа посвящена анализу современного состояния исследований в области алгоритмического, математического и программного обеспечения распределения задач по вычислительным узлам гетерогенной вычислительной среды. Предложена классификация стратегий распределения нагрузки: по принципу учета динамики, по принципу управления, по признаку универсальности, с прогнозированием/без прогнозирования состояния системы и пр. Рассмотрен ряд методов, систем и комплексов распределения нагрузки, в том числе следующие: метод с представлением задачи в виде направленного ациклического графа, модель планировщика задач на основе метаданных, системы «DIET», «ProActive», «Moab», «Maui», система поддержки «пластичных» заданий, комплекс потоковой обработки в терминах теории массового обслуживания, сервис-ориентированный подход. Использование указанного обеспечения позволяет минимизировать время простоя вычислительных устройств, сократить объемы и время передачи данных от одних исполнительных устройств другим, повысить общую масштабируемость, минимизировать время доступа к данным и пр. Выявлены достоинства и недостатки, даны предложения по применению.
Алгоритм., вычислитель, модель, обеспечение, планировщик, распределение вычислительной нагрузки, рекомендации
Короткий адрес: https://sciup.org/14336160
IDR: 14336160
Список литературы Средства, методы и алгоритмы эффективного распараллеливания вычислительной нагрузки в гетерогенных средах
- В. В. Воеводин, Вл. В. Воеводин. Параллельные вычисления, БХВПетербург, СПб., 2002, 608 с.
- J. Piernas, J. Nieplocha. Active Storage User’s Manual, Pacific Northwest National Laboratory, 2007 (english), URL http://hpc.pnl.gov/active-storage/as_users_manual_october_2007.pdf.
- Cascading | Application Platform for Enterprise Big Data (english), URL http://www.cascading.org/.
- Welcome to Pig! (english), URL http://hadoop.apache.org/pig/.
- Е. О. Тютляева. Разработка и реализация распределенного архива изображений дистанционного зондирования Земли//Труды XIII научно-практической конференции Университета города Переславля (Переславль-Залесский, 2009). С. 195-205, URL http://skif.pereslavl.ru/psi-info/rcms/rcms-publications/2009-rus/r-zond.pdf.
- А. М. Бершадский, Л. С. Курилов, А. Г. Финогеев. Исследование стратегий балансировки нагрузки в системах распределенной обработки данных//Известия высших учебных заведений. Поволжский регион, 2009, №4. С. 38-48.
- И. А. Голубев. Планирование задач в распределенных вычислительных системах на основе метаданных, Дис.... к.т.н., СПб., 2014, 135 с.
- Ж. Б. Кальпеева. Модели и методы организации вычислительных процессов в распределенной облачной среде, Дис.... докт. философии (PhD), Республика Казахстан, Алматы, 2014, 136 с.
- Е. Ю. Селиверстов. Обзор методов решения задачи планирования параллельных алгоритмов//Инженерный вестник, 2014, №12. С. 541-555.
- Н. В. Покусин. Балансировка нагрузки распределенной гетерогенной вычислительной системы в условиях априорной неопределенности о характере входного потока заявок//Науковедение, 2013, №3, URL http://naukovedenie.ru/PDF/82tvn313.pdf.
- D. Agrawal, L. H. Jaiswal, I. Singh, K. Chandrasekaran. An Evolutionary Approach to Optimizing Cloud Services//Computer Engineering and Intelligent System, V. 3. No. 4. (2012). С. 47-54 (english).
- H. Zhao, R. Sakellariou. A Hybrid Heuristic for DAG Scheduling on Heterogeneous Systems//13th Heterogeneous Computing Workshop (HCW 2004), 2004 (english), URL http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.121.3069&rep=rep1&type=pdf.
- A. Amar, R. Bolze, E. Boix. DIET 2.8 user’s manual, 2011 (english), URL http://graal.ens-lyon.fr/~diet/download/doc/UsersManualDiet2.8.1.pdf.
- B. Amedro, V. Bodnartchouk, L. Baduel. ProActive Scheduling v.3.3.2 user’s manual, 2013 (english), 152 с.
- Moab Workload Manager v.7.2.4 Administrator Guide. Adaptive Computing Enterprises, 2013 (english), 1136 с.
- Maui v.3.2 Administrator’s Guide. Adaptive Computing Enterprises, 2011 (english), 287 с.
- А. А. Букатов, Г. М. Хачкинаев. Разработка системы управления параллельными заданиями в гетерогенной вычислительной среде//Труды первой Всероссийской научной конференции "Методы и средства обработки информации" (Москва, 2003). С. 197-202.
- Г. М. Хачкинаев. Система пакетной обработки заданий в гетерогенной вычислительной сети, Дис.... к.т.н., М., 2005, 162 с.
- Б. А. Телеснин. Методы и средства организации обработки потоковой информации на распределенных гетерогенных вычислительных комплексах, Дис.... к.т.н., Ростов-на-Дону, 2009, 134 с.
- И. В. Бычков, Г. А. Опарин, А. Г. Феоктистов, В. Г. Богданова, А. А. Пашинин. Сервис-ориентированное управление распределенными вычислениями на основе мультиагентных технологий//Известия Южного федерального университета. Технические науки, 2014, №12. С. 17-27.
- А. И. Миков, Е. Б. Замятина, А. А. Козлов. Оптимизация параллельных вычислений с применением мультиагентной балансировки//Труды международной научной конференции "Параллельные Вычислительные Технологии" (Нижний Новгород, 2009). С. 599-604.
- И. В. Бычков, Г. А. Опарин, А. Г. Феоктистов, А. Н. Кантер. Мультиагентный алгоритм распределения вычислительных ресурсов на основе экономического механизма регулирования их спроса и предложения//Вестник компьютерных и информационных технологий, 2014, №1. С. 39-45.
- А. А. Талалаев. Организация конвейерно-параллельных вычислений для обработки потоков данных//Информационные технологии и вычислительные системы, 2011, №1. С. 8-13.
- В. М. Хачумов, В. П. Фраленко. Высокопроизводительная обработка изображений на кластерных устройствах//Нейрокомпьютеры: разработка и применение, 2012, №6. С. 38-46.
- А. А. Талалаев, В. П. Фраленко. Архитектура комплекса конвейернопараллельной обработки данных в гетерогенной вычислительной среде//Вестник РУДН. Серия Математика. Информатика. Физика, 2013, №3. С. 113-117.
- В. Ф. Заднепровский, А. А. Талалаев, И. П. Тищенко, В. П. Фраленко, В. М. Хачумов. Программно-инструментальный комплекс высокопроизводительной обработки изображений медицинского и промышленного назначения//Информационные технологии и вычислительные системы, 2014, №1. С. 61-72.
- В. М. Хачумов, И. П. Тищенко, А. А. Талалаев, К. А. Константинов, В. П. Фраленко, Ю. Г. Емельянова. Нейросетевая система контроля телеметрической информации, диагностики подсистем космических аппаратов, обработки космических снимков (ПС НСКиД), Свидетельство о государственной регистрации программы для ЭВМ № 2012613261, дата приоритета: 18.11.2011, дата регистрации: 06.04.2012.
- В. М. Хачумов, И. П. Тищенко, А. А. Талалаев, В. П. Фраленко, Д. Н. Степанов, А. А. Кондратьев, А. Е. Кирюшина. Программноинструментальный комплекс высокопроизводительных облачных конвейерно-параллельных вычислений (ПИК "Облако"), Свидетельство о государственной регистрации программы для ЭВМ № 2014610456, дата приоритета: 14.11.2013, дата регистрации: 10.01.2014.
