Применение модели EMMSP для прогнозирования доступных вычислительных ресурсов в кластерных системах
Автор: Артамонов Юрий Сергеевич
Журнал: Известия Самарского научного центра Российской академии наук @izvestiya-ssc
Рубрика: Информатика, вычислительная техника и управление
Статья в выпуске: 4-4 т.18, 2016 года.
Бесплатный доступ
Выбор окружения для проведения вычислений может быть довольно сложной задачей, если требуется оценить, в каком из доступных окружений вычисления будут завершены раньше. Решению этой и нескольких смежных задач посвящены многие исследования, направленные на оптимизацию использования вычислительных ресурсов. В этой работе описывается модель прогнозирования EMMSP, позволяющая эффективно решать задачу прогнозирования доступных вычислительных ресурсов. Ранее эта модель хорошо зарекомендовала себя в задаче прогнозирования цен на электроэнергию. Цель этой работы - исследовать слабые и сильные стороны модели применительно к задаче прогноза доступных вычислительных ресурсов, а также возможности комбинации ее с другими моделями. В анализе применимости акцент делается на интерпретируемости результатов и возможности принятия на их основе управленческих решений. Модель прогнозирования EMMSP интегрирована в подсистему аналитики облачного сервиса TempletWeb, разработанного в Самарском университете для автоматизации научных вычислений на базе вычислительного кластера «Сергей Королёв». Подсистема аналитики выполняет непрерывное прогнозирование загрузки кластера и предоставляет данные прогнозирования в табличном и графическом виде пользователям сервиса. Основная задача подсистемы - прогноз количества доступных ресурсов различных типов на 12 часов вперед, по одному значению прогноза на час. Кроме непосредственного прогнозирования подсистема аналитики ищет и анализирует шаблоны во временных рядах загрузки ресурсов кластера для проведения ретроспективного анализа. Для оценки применимости и ошибок прогнозирования модели использованы данные статистики загрузки кластера «Сергей Королёв», собранные в период с ноября 2013 года по май 2016. Чтобы показать возможность комбинации модели с другими моделями прогнозирования, демонстрируется улучшение результатов прогнозирования модели EMMSP при использовании ее в адаптивной комбинации с моделью наивного прогноза сдвигом данных временного ряда, получившаяся адаптивная модель дает меньшие ошибки прогнозирования, чем каждая из составляющих ее моделей по отдельности. Результаты прогнозирования доступных ресурсов кластера с использованием модели EMMSP могут применяться для решения задач планирования, таких как: построение плана размещения компонентов распределенного приложения, оптимизация параметров запуска и объемов входных данных, снижение энергопотребления кластеров и планирование периодов обслуживания вычислительных узлов.
Окружение, доступные ресурсы, кластер, вычисления, прогнозирование, модель, применимость
Короткий адрес: https://sciup.org/148204751
IDR: 148204751
Список литературы Применение модели EMMSP для прогнозирования доступных вычислительных ресурсов в кластерных системах
- Reig G., Alonso J., Guitart J. Prediction of Job Resource Requirements for Deadline Schedulers to Manage High-Level SLAs on the Cloud//Network Computing and Applications (NCA), 2010 9th IEEE International Symposium on, Cambridge, MA. 2010. C. 162-167.
- Nurmi D., Brevik J., Wolski R. QBETS: Queue Bounds Estimation from Time Series//JSSPP 2007. LNCS, vol. 4942 Springer, Heidelberg. 2008. С. 76-101.
- Brevik J., Nurmi D., Wolski R. Predicting Bounds on Queuing Delay for Batch-Scheduled Parallel Machines//PPoPP 2006: Proceedings of the Eleventh ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming. 2006. C. 110-118.
- Use of run time predictions for automatic co-allocation of multi-cluster resources for iterative parallel applications/M. Netto, C. Vecchiola, M. Kirley, C. Varela, R. Buyya//Journal of Parallel and Distributed Computing №71 (10). 2011. C. 1388-1399.
- Kumar R., Vadhiyar S. Identifying Quick Starters: Towards an Integrated Framework for Efficient Predictions of Queue Waiting Times of Batch Parallel//Job Scheduling Strategies for Parallel Processing, 16th International Workshop, JSSPP 2012 Shanghai. 2012. C. 196-215.
- Predictive Resource Scheduling in Computational Grids/C. Chapman, M. Musolesi, W. Emmerich, C. Mascolo//2007 IEEE International Parallel and Distributed Processing Symposium, Long Beach, CA. 2007. C. 1-10.
- Mazalov V.V., Nikitina N.N., Ivashko E.E. Task Scheduling in a Desktop Grid to Minimize the Server Load//Lecture Notes in Computer Science. 13th International Conference on Parallel Computing Technologies, PaCT 2015. Vol. 9251. 2015. C. 273-278.
- Fernandez-Rodriguez F., Sosvilla-Rivero S., Andrada-Felix J. Nearest-Neighbour Predictions in Foreign Exchange//Working Papers Fundacion de Estudios de Economia Aplicada, FEDEA. 2002.№5. С. 36.
- Чучуева И.А.Модельэкстраполяциивременныхрядовповыборкемаксимальногоподобия//Информационные технологии №12. 2010. С. 43-47.
- Чучуева И.А. Прогнозирование временных рядов при помощи модели экстраполяции по выборке максимального подобия//Наука и современность: сборник материалов международной научно-практической конференции. Новосибирск. 2010. С. 187-192.
- Артамонов Ю.С., Востокин С.В. Инструментальное программное обеспечение для разработки и поддержки исполнения приложений научных вычислений в кластерных системах/Ю.С. Артамонов, С.В. Востокин//Вестник Самарского государственного технического университета. Сер. Физ.-мат. науки, 19:4. 2015. C. 785-798.
- Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов Москва: Финансы и статистика, 2003. 415 с.