Суперкомпьютеры в России
УрФУ
Кафедра ПМиТФ
Курсовая работа на тему:
“Суперкомпьютеры в России”
Студент: Селянин М.А.
Преподаватель: Шориков А.О.
Екатеринбург 2012
Содержание работы:
1.Введение
1.1 Основные понятия
2.суперкомпьютеры в России
3.Крупнейшие производители суперкомпьютеров
4.о компании ”T-platforms”
5.Основные характеристики русских суперкомпьютеров
6.Заключение
7.список литературы
1.Введение
С какого момента обычный компьютер или кластер становится суперкомпьютером? Некоторые специалисты считают, что с тех пор, как он начинает весить больше 1 тонны, некоторые, что с потребляемой мощности в 1 МВт, а кто-то, что с момента, когда он начинает стоить более 1 миллиона долларов. Компьютеры, объединённые в вычислительный кластер, но не дотягивающие до этих показателей можно отнести к классу HPC (High Performance Computing) систем. В ноябре 2012 года обновился всемирно известный рейтинг суперкомпьютеров, TOP500.
Суперкомпью́тер (англ. superco
В настоящее время
Иногда суперкомпьютеры
используются для работы с одним-единственным приложени
4.О компании ”T-platforms”
«Т-Платформы» - международный
разработчик суперкомпьютеров, а
также поставщик полного
Компания «Т-Платформы» разрабатывает,
производит и устанавливает комплексные
суперкомпьютерные системы и
программное обеспечение. За время
своей работы компания выполнила
более 300 проектов, представляющих собой
полностью интегрированные
- Разработку и производство вычислительных комплексов любого уровня, включая системы петафлопс-уровня
- Разработку системного программного обеспечения для HPC-комплексов
- Внедрение систем хранения данных
- Создание высокопроизводительных комплексов «под ключ»
- Услуги по инженерному моделированию, ресурсоемким вычислениям и суперкомпьютерному моделированию для промышленных предприятий
- Аренду HPC-ресурсов
- Управление HPC-центрами
- Распараллеливание вычислений
- Рендеринг на суперкомпьютере
Суперкомпьютер «Ломоносов» производительностью 1,7 Пфлопс, разработанный компанией «Т-Платформы» и установленный в Московском государственном университете им. М.В. Ломоносова, возглавляет рейтинг TOP50 самых мощных суперкомпьютеров России и занимает 18 строчку мирового рейтинга TOP500 (июнь 2011). Кроме того, суперкомпьютерный комплекс «Ломоносов» занял второе место по производительности в тестировании Graph500, ориентированном на оценку производительности систем при обработке больших массивов данных (июнь 2011).
Вычислительные кластеры холдинга «Т-Платформы» установлены в Сингапурском суперкомпьютерном центре, университете Манхайма и других организациях Европы. Компания «Т-Платформы» сотрудничает с институтом Макса Планка в Германии, оказывает содействие в реализации европейских стратегических инициатив (PROSPECT), поддерживает ведущие европейские суперкомпьютерные инициативы (PRACE, HOPSA).
Среди клиентов «Т-Платформы» компании из разных отраслей, в том числе нефтегазовой, энергетической, аэрокосмической, промышленности и др. Это коммерческие, научные, оборонные и государственные организации, использующие в своей работе российские суперкомпьютеры.
Компания «Т-Платформы» разрабатывает,
производит и устанавливает комплексные
суперкомпьютерные системы и
программное обеспечение, обеспечивая
полный спектр услуг. С 2002 года компания
выполнила около 200 проектов, представляющих
собой полностью
Основные особенности:
- Модульные системы V-Class, блейд-системы T-Blade 2 и миникластеры T-Mini P разработаны специально для высокопроизводительных вычислений
- В состав программного обеспечения Clustrx входит операционная система HPC нового поколения и средства управления, рассчитанные на системы петафлопс-уровня и будущие вычисления экзамасштаба
- В спектр систем хранения и резервного копирования данных входят системы, поставляемые как под брендом «Т-Платформы», так и под брендами OEM-производителей, такими как Panasas, NetApp и DDN
4.1 Проекты компании
Суперкомпьютер "Ломоносов",
установленный в Московском государственном
Университете им. М.В. Ломоносова - самый
мощный вычислительный комплекс в Восточной
Европе с пиковой производительностью
в 1,7 Пфлопс. Сегодня он возглавляет рейтинг
Top-50 самых мощных суперкомпьютеров России,
а в ноябре 2011 года суперкомпьютер занял
18-е место в рейтинге Тop-500 мощнейших компьютеров
мира. "Ломоносов" состоит из вычислительных
модулей различных архитектур: систем
на базе технологии x86 и систем с графическими
ускорителями. В целом, суперкомпьютер
использует 6 типов вычислительных узлов
и процессоры различных архитектур. В
результате гибридная система обладает
достаточной гибкостью для достижения
оптимальной производительности для широкого
круга задач.
Более 94% производительности системы,
построенной на базе архитектуры x86, обеспечивают
решения TB2-XN. "Ломоносов" содержит
также вычислительные модули TB 1.1, а также
системы PeakCell S, построенные на базе процессора
PowerXCell 8i. Графическая часть суперкомпьютеры
построена на базе нового поколения решений
"Т-Платформы" - TB2-TL. Создание данного
комплекса разгрузило часть ресурсов
суперкомпьютера «Чебышев», ранее построенного
компанией «Т-Платформы» для МГУ. Обе системы
используются для решения ресурсоемких
вычислительных задач в рамках фундаментальных
научных исследований в областях изменения
климата, нанотехнологий и моделирования
структур белка, а также для проведения
научной работы в области разработки алгоритмов
и программного обеспечения для мощных
вычислительных систем.
В суперкомпьютере «Ломоносов» используется 7 видов вычислительных узлов и процессоры с различной архитектурой, что позволяет получать высокую производительность максимально широкого спектра приложений. Основу вычислительного комплекса составляет решение TB2, полностью сконструированное инженерами «Т-Платформы». Шасси TB2 на сегодня обеспечивает максимальную плотность вычислительной мощности на квадратный метр площади дата- центра. Воздушное охлаждение упрощает обслуживание, а также улучшает ремонтопригодность системы. Дизайн шасси обеспечивает высокую компактность, небольшой вес, простоту инсталляции в стандартные шкафы 19” и возможность развертывания в ЦОД с традиционной инфраструктурой. Такое решение позволяет снизить капитальные затраты при реализации комплексных суперкомпьютерных центров на базе TB2.
ВЫЧИСЛИТЕЛЬНАЯ ОСНОВА СИСТЕМЫ
В качестве основных узлов используются решения TB2-XN на базе четырехъядерных и шестиядерных процессоров Intel Xeon X5570 Nehalem и X5670 Westmere. В системе также используется платформа TB 1.1 с увеличенным объемом оперативной памяти и локальной дисковой памятью для выполнения специфических задач, требовательных к этим параметрам системы. Третий тип узлов – платформы на базе многоядерного процессора PowerXCell 8i, используется в качестве мощного ускорителя для ряда задач. Суперкомпьютерный комплекс также содержит гибридные узлы TB2-TL на базе процессоров Intel Xeon и NVIDIA Tesla. Все типы вычислительных узлов, использующихся в суперкомпьютерном комплексе, разработаны компанией «Т-Платформы». Все вычислительные узлы установки, а также систему хранения данных, связывает высокоскоростная коммуникационная сеть QDR In- finiBand с пропускной способностью до 40 Гб/сек. В качестве дополнительных сетей используются 10G Ethernet и Gigabit Ethernet, а также выделенные сети поддержки коллективных коммуникаций, разработанные компанией «Т-Платформы».
РОССИЙСКИЕ СУПЕРКОМПЬЮТЕРНЫЕ
Платформа TB2 была сконструирована инженерами «Т-Платформы» «с нуля» - все платы и механические компоненты являются собственными разработками компании. TB2 выходит за рамки традиционных возможностей blade-систем. Новая платформа позволяет создавать суперкомпьютеры высшего уровня производительности, не уступающие специализированным нестандартным вычислителям с массивно-параллельной архитектурой (MPP). Такие системы обеспечивают лучшую масштабируемость приложений по сравнению с традиционными кластерами, и число процессоров в них может достигать десятков тысяч.
Суперкомпьютеры на базе TB2 обеспечивают высокую эффективность реальных приложений за счет принципиально новых технологий, таких как выделенные сети барьерной синхронизации и глобальных прерываний. Они позволяют за минимальное время синхронизировать вычислительные процессы на отдельных узлах и ускорить обмен данными между процессорами.
СИСТЕМНАЯ ПЛАТА ВЫЧИСЛИТЕЛЬНОГО МОДУЛЯ
Основой решения TB2 является вычислительный модуль на основе системной платы разработки «Т-Платформы». Уникальная вычислительная плотность решения достигается прежде всего за счет оригинального дизайна 14-слойной системной платы, на которой расположены четыре процессора Intel® Xeon® серии 55xx или 56xx, четыре трехканальных модуля памяти DDR3 разработки «Т-Платформы» и интегрированные контроллеры системной сети QDR InfiniBand.
КОММУТАТОР СИСТЕМНОЙ СЕТИ QDR INFINIBAND
Дизайн коммутаторов системной сети в решении ТB2 является оригинальной разработкой «Т-Платформы» на основе эталонного дизайна Mellanox InfiniScale IV. Два интегрированных коммутатора обеспечивают неблокируемую пропускную способность системной сети, достаточную для бесконфликтной передачи данных в инсталляциях из десятков тысяч узлов. Два коммутатора имеют 32 внутренних порта для подключения всех вычислительных узлов и 40 внешних портов.
РАДИАТОР СИСТЕМНОЙ ПЛАТЫ
Высокая степень интеграции компонентов на системной плате, выделяющей порядка 570 Вт тепла, требует эффективного охлаждения. Оптимальный вариант дизайна радиатора, отводящего это тепло, был найден благодаря моделированию на суперкомпьютере мощностью 10 Тфлопс. В ходе двухмесячного компьютерного анализа из 6 вариантов был выбран один с наилучшим соотношением веса и энергоэффективности. Это композитный алюминиевый радиатор с медными вставками, полностью закрывающий системную плату и обеспечивающий эффективное воздушное охлаждение блейд-системы.
ОБЪЕДИНИТЕЛЬНАЯ ПЛАТА
Эта плата объединяет все подсистемы шасси: вычислительные модули, систему питания и охлаждения, сетевые интерфейсы и систему управления. Компактный дизайн объединительной платы оставляет в шасси достаточно пространства для эффективного воздушного охлаждения вычислительных модулей вентиляторами, расположенными в передней части шасси. 24-слойная плата обеспечивает горячую замену вычислительных модулей, а также подачу питания и информационных сигналов ко всем подсистемам.
МОДУЛЬ УПРАВЛЕНИЯ
Модуль управления включает 4 функциональных блока, обеспечивающих мониторинг и управление системы, интеграцию управляющей и вспомогательной сетей стандарта 10GbE/ GbE/ Ethernet, интеграцию специализированных сетей барьерной синхронизации и глобальных прерываний, а также сети внешней частотной синхронизации вычислительных узлов. Специализированные сети снижают задержки, возникающие при синхронизации выполнения параллельных операций на крупных инсталляциях. Управление этими сетями осуществляется специально запрограммированной микросхемой FPGA.
МОДУЛЬ ПАМЯТИ
В отличие от стандартных DIMM-модулей, оригинальные высокоинтегрированные модули памяти разработки «Т-Плафтормы» позволяют обеспечить очень плотное размещение вычислительных модулей в блейд-шасси. Каждая микросхема интегрирует функционал трех DIMM-модулей и горизонтально размещается на системной плате, позволяя экономить место. Модули памяти легко снять и заменить, что облегчает и удешевляет обслуживание по сравнению с другими компактными решениями, где память интегрирована на системную плату.
СИСТЕМА ХРАНЕНИЯ ДАННЫХ
В состав суперкомпьютера «Ломоносов» включена трехуровневая система хранения данных: система хранения данных на основе высокоскоростных дисковых хранилищ T- Platforms SAN 7998 суммарным объемом 500 ТБайт под управлением параллельной файловой системы Lustre, скоростное дисковое хранилище повышенной надежности объемом 300 Тбайт, а также роботизированную ленточную библиотеку объемом 1Пбайт.
СПЕЦИАЛИЗИРОВАННОЕ ПРОГРАММНОЕ
ОБЕСПЕЧЕНИЕ
Задачу ускорения реальных приложений в суперкомпьютере
«Ломоносов» решают не только аппаратные технологии,
но и новое системное ПО. Для централизованного
администрирования столь мощных систем и эффективного
использования их мощности холдинг «Т-Платформы»
разработал семейство
специальных программных
ClustrX. Все решения ClustrX разработаны на базе единого
программного кода. В них реализован весь функционал,
необходимый системным администраторам и пользователям
вычислительных комплексов. Применение решений
ClustrX позволяет быстро сконфигурировать вычислительный
комплекс и централизовано управлять им. ClustrX ОС устраняет
критические ограничения масштабируемости, присущие
современным операционным системам, обеспечивая более
эффективное использование ресурсов крупных инсталляций.
Пакет ClustrX содержит все необходимые компоненты для
управления суперкомпьютером и организации удобного
доступа пользователей к системе. ClustrX обеспечивает
ежесекундный мониторинг до 150 метрик на каждом
вычислительном узле, использует технологии агрессивного
энергосбережения и
критические ситуации.
ОТКАЗОУСТОЙЧИВОСТЬ
Добиться требуемого уровня отказоустойчивости позволило
резервирование всех критических подсистем и компонентов
суперкомпьютерного комплекса – от вентиляторов и блоков
питания в вычислительных узлах до систем электропитания и
охлаждения. Высокую надежность blade-систем обеспечивает
отсутствие кабельных соединений и жестких дисков внутри
шасси, а также целый ряд конструктивных решений, таких как
специально разработанные разъемы для модулей памяти.
ИНЖЕНЕРНАЯ
«Ломоносов» надёжно защищён от возможных
сбоев в энергосистеме. В случае аварии на
внешних линиях энергоснабжения источники
бесперебойного питания обеспечат полноценную
работу компьютера на время, гарантирующее
корректное завершение всех программ
и сохранение данных. КПД источников
бесперебойного питания составляет около 97%, в
то время как в системах подобного масштаба эта
характеристика обычно составляет не более 92%.
Из-за высокой вычислительной плотности от
одного шкафа с оборудованием необходимо
отводить до 65кВт тепла – больше, чем во
многих других вычислительных центрах мира.
Для этого инженерам компании «Т-Платформы»
пришлось разработать особую систему
теплоотвода. Суперкомпьютер охлаждается
и за счет сложной инфраструктуры, которая
занимает в общей сложности около 500
квадратных метров внутри и снаружи здания.
Для охлаждения системы используется режим
“free-cooling”: при низких температурах уличного
воздуха водоохлаждающие агрегаты частично
или полностью отключают работу компрессоров,
что позволяет значительно экономить
электроэнергию – в российских условиях система
охлаждения около полугода почти не потребляет
электричество.
Серьёзное внимание разработчики уделили
системе противопожарной безопасности.
Здесь тоже не обошлось без инноваций –
автоматическая система пожаротушения
суперкомпьютера использует специальный газ.
В случае возгорания, он равномерно заполняет
помещение и ликвидирует пожар, не повреждая
при этом дорогое оборудование. При этом, газ
не токсичен и абсолютно безвреден для людей и
животных.
ПРИМЕНЕНИЕ
Развитие вычислительной
техники и методов
моделирования предоставляет уникальную возможность для
перевода промышленного производства и научных исследований
на качественно новый уровень. Для промышленности это означает
повышение конкурентоспособности продукции на мировом рынке, а
для науки — завоевание российскими учеными лидирующих позиций.
Таким образом, применение высокопроизводительных вычислений в
интересах отечественной науки и промышленности является одним из
важных шагов на пути к инновационной экономике.
Нефтегазовая промышленность, машиностроение, строительство,
фармацевтика, фундаментальные задачи физики, химии,
нанотехнологий и генетики, прогноз погоды и глобального изменения
климата — вот лишь малая часть областей, активному развитию
который может способствовать применение суперкомпьютеров.
Суперкомпьютерные комплексы МГУ используются для реализации
фундаментальных и прикладных проектов, в которых ученые
Московского университета сотрудничают с множеством научных
коллективов по всей стране и за рубежом.
Исследования климата
Важной проблемой современной науки является оценка будущих
изменений климата и их последствий для окружающей среды.
Наиболее перспективным
средством получения таких
математические модели климатической системы, которые включают
описание широкого круга физических, химических и биологических
процессов, происходящих в атмосфере, гидросфере, криосфере и
биосфере. По пространственному масштабу климатические модели
разбивают на три класса: глобальные, региональные и локальные.
В международном проекте изучения глобальных моделей Россия
представлена проектом ИВЦ РАН. С моделью этого проекта
проведены многочисленные расчеты изменений климата в 21 веке
– например, роста среднегодовой температуры в том или ином
регионе - при различных сценариях выбросов парниковых газов
в атмосферу. Региональные климатические модели важны для
планирования социально-
Научно-исследовательском вычислительном центре МГУ развивается
региональная атмосферная модель, которая позволяет рассчитывать
динамику атмосферы вплоть до масштабов отдельных мощных кучевых
облаков. С помощью локальных
моделей климата изучают
потоки, которые играют существенную роль в жизни современного
города. Сильный порывистый ветер, образующийся между высотными
зданиями, приводит к многочисленным неприятным последствиям,
которых можно избежать, если спрогнозировать ветровые потоки на
этапе застройки нового района. Такой прогноз можно осуществить на
основе вихреразрешающей модели, развиваемой в ИВМ РАН и НИВЦ
МГУ.
Медицина
Одной из самых важных задач современной медицины,
решающихся с помощью суперкомпьютеров, ведущие
биологи и врачи считают разработку лекарственных
препаратов. Начальный этап работ упрощается за счет
применения методов
моделирования, что позволяет предсказывать новые
органические молекулы, которые будут наиболее
эффективно и избирательно связываться с активными
центрами исследуемых белков. В частности, совместная
работа МГУ и
была посвящена разработке нового патентночистого
синтетического ингибитора тромбина – причины смертельно
опасного тромбоза. Моделирование позволило существенно
сократить затраты на разработку лекарства: из 6000
перспективных соединений выбрали только самые
лучшие, и вместо синтеза и измерений активности из всех
6000 соединений при использовании обычного метода
экспериментального перебора синтезировали всего 20,
чтобы найти новый ингибитор. Таким образом, применение
суперкомпьютеров для разработки новых лекарств ускоряет
стадию разработки в среднем до двух лет вместо восьми,
удешевляет разработку в 10-100 раз, создает основу для
регулярной конвейерной разработки новых лекарств и
помогает снизить их стоимость.
Нанотехнологии
При разработке нанотехнологий компьютерное
моделирование способно сыграть ведущую роль. Далеко
не все процессы, происходящие на атомарном уровне,
возможно изучить через физический эксперимент: все чаще
и чаще для интерпретации данных экспериментов и более
глубокого понимания причин процессов, происходящих
в наносфере, ученые используют моделирование. В
результате ученые получают возможность конструирования
искусственных соединений с заданными свойствами и
функциями. Например, с помощью методов молекулярной
динамики ученые МГУ изучают новый перспективный
класс соединений, обладающих полупроводниковыми
свойствами и в тоже время способных к самоорганизации
в так называемые «нанофибриллы», или «нанопровода».
Атомистическое моделирование позволяет понять структуру,
свойства и принципы самоорганизации этих нанофибрилл.
Благодаря уникальной способности этих соединений к
самоорганизации, создание гибридных биосинтетических
структур может вывести процесс создания наноэлектронных
устройств на принципиально новый уровень.
ОСНОВНЫЕ
СУПЕРКОМПЬЮТЕРА
Пиковая производительность
Число вычислительных узлов x86/GPU
Число процессоров x86
Число процессорных ядер x86/GPU
Число типов вычислительных узлов
Основной тип вычислительных узлов
Процессор основного типа
вычислительных узлов
Оперативная память
Занимаемая площадь (вычислитель)
1.7 Пфлопс
5 104 / 1 065
12 346
52 168 / 954 840
8
TB2-XN
Intel® Xeon X5570 / X5670
83 ТБ
252 м²
Энергопотребление вычислителя
Интерконнект
Система хранения данных
Операционная система
2,6 МВт
QDR InfiniBand
Трехуровневая с параллельной
файловой системой хранения
данных
ClustrX T-Platforms Edition
На момент завершения строительства в марте 2008 года суперкомпьютер «МГУ Чебышев» стал самым мощным вычислительным комплексом в России, странах СНГ и Восточной Европы. Пиковая производительность суперкомпьютера, построенного на базе 1250 четырехъядерных процессоров Intel® Xeon® E5472, составила 60 Тфлопс. Реальная производительность системы на тесте Linpack - 47,17 Тфлопс (78,6% от пиковой), что стало лучшим показателем эффективности среди всех систем первой сотни списка Тор500 самых мощных компьютеров мира на базе четырехъядерных процессоров Intel Xeon (www.top500.org). «МГУ Чебышев» на момент завершения строительства занял 36 место мирового рейтинга Тор500. Вычислительный комплекс «МГУ Чебышев» используется Научно-исследовательским вычислительным центром Московского государственного университета им. М.В. Ломоносова (НИВЦ МГУ) для прогнозирования изменений в распределении вечной мерзлоты на территории России. Это позволит предсказать развитие возможных последствий глобального потепления. Кроме того, огромных вычислительных ресурсов требуют задачи в области молекулярной биологии. Благодаря высокопроизводительным вычислениям специалистам НИВЦ МГУ менее чем за полтора года удалось найти несколько новых соединений для создания лекарства от смертельно опасных тромбозов и пройти путь от их синтеза и лабораторных исследований до предклинических испытаний.
В 2009 году компания «Т-Платформы» по заказу Московского Государственного Университета путей сообщения (МИИТ) построила суперкомпьютер «МИИТ Т-4700», ставший самым мощным в России вычислительным комплексом на базе процессоров AMD Opteron™ 2356 (Barcelona). Наряду с автоматизацией управления университетов, эта система позволила выполнять сверхсложные инженерные расчеты. Пиковая производительность суперкомпьютера «МИИТ T-4700» - 4,7 Тфлопс, а рабочая, показанная на тесте Linpack - 3,89 Тфлопс (82% от пиковой). На момент завершения строительства этот суперкомпьютер занял 21 место в рейтинге самых мощных компьютеров России и СНГTop50. Исследователи и разработчики МИИТа используют суперкомпьютер для решения таких задач, как расчет устойчивости опор моста, определение динамики и прочности ходовых частей поездов, моделирование транспортных потоков, проектирования зданий, тоннелей и других сооружений.