Анализ данных о загрузке высокопроизводительных платформ пользовательскими задачами на примере гетерогенной вычислительной платформы HybriLIT

Аннотация

Актуальность исследования, приведенного в данной статье, заключается в возможности агрегировать статистическую информацию об использовании ресурсов платформы различными группами пользователей. В статье проводится анализ данных по использованию ресурсов учебно-тестового полигона платформы HybriLIT, на основе которого можно построить модели для прогнозирования дальнейшей загруженности платформы с целью рационального распределения имеющихся вычислительных ресурсов и системы хранения данных, а также повышения эффективности их использования. Цель работы – представить исследования, направленные на интеллектуальный анализ данных используемых ресурсов при запуске задач различными группами пользователей и времени их выполнения на учебно-тестовом полигоне платформы HybrLIT. Гетерогенная вычислительная платформа HybriLIT, состоящая из учебно-тестового полигона и суперкомпьютера «Говорун», является частью многофункционального информационно-вычислительного комплекса Лаборатории информационных технологий им. М.Г. Мещерякова Объединенного института ядерных исследований. Платформа имеет гетерогенную структуру вычислительных узлов и позволяет запускать параллельные приложения для проведения расчетов на различных вычислительных архитектурах. Сводная информация о запущенных на HybriLIT задачах, автоматически записывающаяся в базу данных менеджером и планировщиком ресурсов SLURM, представляет интерес для анализа. В результате был проведен глубокий анализ данных по нескольким критериям для каждого ресурса и для каждой группы пользователей учебно-тестового полигона гетерогенной платформы HybriLIT.