Суперкомпьютеры и их применение. 2

Цель работы:

Суперкомпьютеры и их применение

Введение

1. Что такое суперкомпьютеры
2. Для чего нужны суперкомпьютеры
3. Программы для суперкомпьютеров
4. Вычислительные кластеры
5. Многопроцессорные системы
6. Первые суперкомпьютеры
7. Строение суперкомпьютеров
8. Заключение
9. литература

-http://ru.wikipedia.org/wiki/%D0%A1%D1%83%D0%BF%D0%B5%D1%80%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80

 -http://www.depo.ru/category_c1853121.aspx?utm_source=Direct&utm_medium=cpc&utm_campaign=PC_Business

-http://www.i-mash.ru/news/nov_otrasl/12227-superkompjutery-v-promyshlennosti.html

МНОГОПРОЦЕССОРНЫЕ СИСТЕМЫ

Введение:

С момента появления  первых суперкомпьютеров одной из основных проблем, стоящих перед разработчиками, была производительность вычислительной системы. За время развития  компьютерной  индустрии производительность  процессора стремительно возросла, однако появление  все более изощренного  программного  обеспечения , рост числа пользователей  и расширение сферы приложения вычислительных систем  предъявляют новые требования к мощности  используемой техники, что и привело к появлению суперкомпьютеров.

1)Понятие „суперкомпьютер” возникло в середине 1960-х лет, когда компьютеров стало достаточно много и они начали различаться мощностью и предназначением, отсюда и возникла необходимость их класификации.

Это специальные высокопроизводительные ЭВМ, которые относятся к классу самых быстрых в мире компьютеров. Их мощность, как и производительность обычных настольных ПК, растет чрезвычайно  быстро. К типичным чертам современных суперкомпьютеров можно отнести огромное число процессоров и гигантский объем оперативной памяти. По вычислительной мощности их можно сравнить с несколькими тысячами настольных ПК. Размеры суперкомпьютеров настолько велики, что они устанавливаются в специальных залах – только там эти аппараты можно охладить и соединить их модули тысячами проводов.

2) Простой ретроспективный анализ – где и зачем использовались такие машины – однозначно свидетельствует, что речь идет о решении сложных математических вычислительных задач в пределах фундаментальных исследований и о реализации проектов национального или международного масштаба.

Расшифровка секретных кодов и  баллистические расчеты – вот  основное применение вычислителей во время Второй мировой войны. Первые прообразы современных компьютеров создавались в пределах ядерных проектов. Например, наиболее известные советские суперкомпьютеры „Эльбрус” были разработаны для реализации противоракетной обороны страны в 1970-80-ые годы.

Можно вспомнить о геофизических исследованиях, прогнозировании погоды, расшифровке генома человека, создании новых лекарств, и тому подобное.

Что касается больших мировых бизнес-корпораций, то они уже давно поняли преимущества и необходимость суперкомпьютеров и создали собственные мощности.

В рейтинге Топ500 наимощнейших компьютерных систем мира уже более 60% инсталляций принадлежит корпорациям, а не исследовательским центрам. В действительности эта пропорция еще больше сдвинута в сторону бизнеса, поскольку не каждая компания стремится афишировать свои IT-ресурсы. Наиболее яркий пример бизнеса, который использует суперкомпьютерные масштабы IT, – поисковая система Google.

В Google не раз хвастались, что их компания в сущности огромный суперкомпьютер. Ее серверные кластеры в разных странах состоят из сотен тысяч узлов, всего около миллиона машин. Если бы Google захотел довести свою производительность тестами Linpack, то потеснил бы в рейтинге немало достаточно известных компьютерных систем.

3) Для работы суперкомпьютерам необходимы особые программы. ПО так же важно для быстрой и надежной работы, как и аппаратура. Обычная Windows на таком компьютере работала бы не быстрее, чем на простом ПК, так как она смогла бы использовать лишь несколько процессоров из многих тысяч. Поэтому суперкомпьютеры, как правило, используют специфические операционные системы, например Scientific Linux.

4)Что такое кластер?

Вычислительный  кластер — это группа вычислительных узлов, объединенных

высокоскоростными каналами связи, представляющая с точки  зрения пользователя единую

вычислительную  систему. Основное предназначение вычислительного  кластера —

выполнение  большого количества расчетов. Основная характеристика вычислительного

кластера —  производительность вычислений, которая  измеряется числом арифметических

операций в секунду. В отличие от персональных компьютеров кластер способен выполнять

параллельные  вычисления.

Что такое  вычислительный кластер?

В общем случае, вычислительный кластер - это набор компьютеров (вычислительных узлов), объединенных некоторой коммуникационной сетью. Каждый вычислительный узел имеет свою оперативную память и работает под управлением своей операционной системы. Наиболее распространенным является использование однородных кластеров, то есть таких, где все узлы абсолютно одинаковы по своей архитектуре и производительности.

Как запускаются программы на кластере?

Для каждого кластера имеется выделенный компьютер - головная машина (front-end). На этой машине установлено программное  обеспечение, которое управляет  запуском программ на кластере. Собственно вычислительные процессы пользователей запускаются на вычислительных узлах, причем они распределяются так, что на каждый процессор приходится не более одного вычислительного процесса. Запускать вычислительные процессы на головной машине кластера нельзя.

Пользователи имеют терминальный доступ на головную машину кластера, а  входить на узлы кластера для них  нет необходимости. Запуск программ на кластере осуществляется в т.н. "пакетном" режиме - это значит, что пользователь не имеет непосредственного, "интерактивного" взаимодействия с программой, программа не может ожидать ввода данных с клавиатуры и выводить непосредственно на экран. Более того, программа пользователя может работать тогда, когда пользователь не подключен к кластеру.

Какая установлена операционная система?

Вычислительный кластер, как правило, работает под управлением одной  из разновидностей ОС Unix - многопользовательской  многозадачной сетевой операционной системы. В частности, в НИВЦ МГУ  кластеры работают под управлением  ОС Linux - свободно распространяемого варианта Unix. Unix имеет ряд отличий от Windows, которая обычно работает на персональных компьютерах, в частности эти отличие касаются интерфейса с пользователем, работы с процессами и файловой системы

Как использовать возможности кластера?

Существует несколько способов задействовать вычислительные мощности кластера.

1. Запускать множество однопроцессорных  задач. Это может быть разумным  вариантом, если нужно провести  множество независимых вычислительных  экспериментов с разными входными данными, причем срок проведения каждого отдельного расчета не имеет значения, а все данные размещаются в объеме памяти, доступном одному процессу.

2. Запускать готовые параллельные  программы. Для некоторых задач  доступны бесплатные или коммерческие  параллельные программы, которые при необходимости Вы можете использовать на кластере. Как правило, для этого достаточно, чтобы программа была доступна в исходных текстах, реализована с использованием интерфейса MPI на языках С/C++ или Фортран. Примеры свободно распространяемых параллельных программ, реализованных с помощью MPI: GAMESS-US (квантовая химия), POVRay-MPI (трассировка лучей).

3. Вызывать в своих программах  параллельные библиотеки. Также  для некоторых областей, таких  как линейная алгебра, доступны библиотеки, которые позволяют решать широкий круг стандартных подзадач с использованием возможностей параллельной обработки. Если обращение к таким подзадачам составляет большую часть вычислительных операций программы, то использование такой параллельной библиотеки позволит получить параллельную программу практически без написания собственного параллельного кода. Примером такой библиотеки является SCALAPACK. Русскоязычное руководство по использованию этой библиотеки и примеры можно найти на сервере по численному анализу НИВЦ МГУ. Также доступна параллельная библиотека FFTW для вычисления быстрых преобразований Фурье (БПФ). Информацию о других параллельных библиотеках и программах, реализованных с помощью MPI, можно найти по адресу http://www-unix.mcs.anl.gov/mpi/libraries.html.

4. Создавать собственные параллельные программы. Это наиболее трудоемкий, но и наиболее универсальный способ. Существует два основных варианта. 1) Вставлять параллельные конструкции в имеющиеся параллельные программы. 2) Создавать "с нуля" параллельную программу.

5) Многопроцессорные системы

Потребность решения сложных прикладных задач с большим объемом вычислений и принципиальная ограниченность максимального  быстродействия «классических» – по схеме фон Неймана - ЭВМ привели  к появлению многопроцессорных  вычислительных систем (МВС). Использование таких средств вычислительной техники позволяет существенно увеличивать производительность ЭВМ при любом существующем уровне развития компьютерного оборудования. При этом, однако, необходимо «параллельное» обобщение традиционной - последовательной - технологии решения задач на ЭВМ. Так, численные методы в случае МВС должны проектироваться как системы параллельных и взаимодействующих между собой процессов, допускающих исполнение на независимых процессорах. Применяемые алгоритмические языки и системное программное обеспечение должны обеспечивать создание параллельных программ, организовывать синхронизацию и взаимоисключение асинхронных процессов и т.п.

Суперкомпьютер СКИФ МГУ "ЧЕБЫШЁВ"

Общая характеристика

Вычислительные узлы и сети

Группы вычислительных узлов:

Все узлы в СКИФ МГУ "ЧЕБЫШЁВ" связаны тремя независимыми сетями:

• Системная сеть: InfiniBand DDR (Mellanox ConnectX) 
  (Fat Tree: 6x144 порта; латентность на уровне MPI: 1.3-1.95 мкс; скорость обмена на уровне MPI: 1540 Мбайт/с)
• Вспомогательная сеть: Gigabit Ethernet 
  (2x(336 портов+4x10G) + 2x(48 портов+4x10G) + 24x10G)
• Управляющая сеть: СКИФ-ServNet+IPMI

Инфраструктура суперкомпьютера

Суперкомпьютер СКИФ МГУ "ЧЕБЫШЁВ" обладает уникальной информационно-вычислительной и инженерной инфраструктурой, необходимой  для надёжной круглосуточной работы комплекса.

Система бесперебойного электропитания:

Климатическая система:

Также реализованы подсистемы хранения и резервного копирования данных, газового пожаротушения, мониторинга, резервирование всех основных компонентов.

Суперкомпьютер "Ломоносов"

Общая характеристика

Площади помещений:

• Вычислитель: 252 кв. м
• СБЭ (система бесперебойного электропитания): 246 кв.м.
• ГРЩ (главный распределительный щит): 85 кв. м.
• Климатическая система: 216 кв. м.

Энергопотребление:

• Пиковая мощность вычислителя (1,7 Tflops): 2,6 МВт
• Средняя мощность инфраструктуры: 740 КВт.
• Пиковая мощность инфраструктуры при внешней температуре 35 цельсия: 1,2 МВт
• Средняя суммарная мощность комплекса: 2,57 МВт
• Пиковая суммарная мощность комплекса (при 35 цельсия): 3,05 МВт.

Вычислительные узлы и сети

Группы вычислительных узлов:

Все узлы в связаны  тремя независимыми сетями:

• Системная сеть - QDR InfiniBand, 40 Гбит/сек (схема)
• Сервисная сеть - Ethernet, 10 Гбит/сек, 1 Гбит/сек и 100 Мбит/сек (схема)
• Управляющая сеть - Ethernet, 10 Гбит/сек и 1 Гбит/сек (схема)
• Сеть барьерной синхронизации и сеть глобальных прерываний, Т-Платформы

Программное обеспечение

• Средства архивации данных: bacula 3 (Т-Платформы), StorNext (Quantum), NetBackup (Symantec)
• Передача файлов: SCP, SFTP
• Управление заданиями и ресурсами: SLURM 2.0
• Среды исполнения: OpenMPI 1.4, MVAPICH 1.1, IntelMPI 4
• Языки программирования: C/C++, Fortran 77/90/95
• Наборы компиляторов: Intel 12, GNU 4.4, Pathscale, PGI
• Средства отладки и анализа производительности: Intel® ITAC 12, grpof 4, Intel® vTune 4, Intel® Thread Checker, Acumem ThreadSpotter, IDB, Allinea DDT
• Системы контроля версий: SVN, GIT
• Языки сценариев: Perl, Python

Суперкомпьютер "МВС-100K"

Назначение

Суперкомпьютер (СК) "МВС-100K" предназначен для решения сложных научно-технических  задач.

Пиковая производительность СК составляет 227,94 TFlops.

Программные и аппаратные средства СК "МВС-100K" позволяют решать одну задачу с использованием всего вычислительного  ресурса, а также разделять решающее поле на части требуемого размера  и предоставлять их нескольким пользователям.

Общая структура "МВС-100K"

В состав технических  средств СК "МВС-100K" входят:

• решающее поле из 1275 вычислительных модулей (10572 процессорных ядер, 152 GPU);
• управляющая станция и узел доступа на базе двух процессоров Intel Xeon;
• коммуникационная сеть Infiniband DDR, построенная с использованием коммутаторов Voltaire и Cisco;
• транспортная сеть Gigabit Ethernet/10 Gigabit Ethernet;
• управляющая сеть Gigabit Ethernet;
• системная консоль;

Вычислительный модуль

Вычислительные модули СК "МВС-100K" построены на основе серверов HP Proliant. Всего используются модули четырёх разных типов:

• 990 узлов: два четырёхядерных микропроцессора Intel Xeon E5450, работающих на частоте 3 ГГц, объём оперативной памяти 8 ГБайт;
• 192 узла: два четырёхядерных микропроцессора Intel Xeon X5365, работающих на частоте 3 ГГц, объём оперативной памяти 8 ГБайт;
• 74 узла: два шестиядерных микропроцессора Intel Xeon X5670, работающих на частоте 2,93 ГГц, объём оперативной памяти 12 ГБайт;
• 19 узла: два шестиядерных микропроцессора Intel Xeon X5675, работающих на частоте 3 ГГц, восемь графических ускорителей Nvidia Tesla M2090, объём оперативной памяти 192 ГБайт;

Кроме того, все вычислительные узлы оборудованы:

• жёстким диском объёмом не менее 36 ГБайт;
• интерфейсной платой HP Mezzanine Infiniband DDR;
• двумя интегрированными контроллерами Gigabit Ethernet.

Сетевые решения

Вычислительные модули связаны  между собой высокоскоростной коммуникационной сетью Infiniband DDR, транспортной и управляющей  сетями Gigabit Ethernet.

Коммуникационная сеть Infiniband DDR предназначена для высокоскоростного обмена между ВМ в ходе вычислений. Сеть реализована двумя уровнями коммутаторов. Скорость двунаправленных обменов данными между двумя ВМ с использованием библиотек MPI находится на уровне 1400 Мбайт/сек. Латентность между двумя соседними узлами составляет 3.2 мкс, самыми дальними 4.5 мкс.

Транспортная  сеть Gigabit Ethernet предназначена для  соединения решающего поля с управляющей  станцией, параллельной файловой системой и файл-сервером.

Управляющая сеть, построенная с использованием технологии Gigabit Ethernet, предназначена для запуска программ на счёт вычислительными модулями, а также для передачи служебной информации о ходе вычислительного процесса и состоянии подсистем.

Программное обеспечение

Программное обеспечение "МВС-100K" поддерживает все этапы разработки параллельных программ, а также обеспечивает выполнение процессов обработки  данных на решающем поле. При выборе программного обеспечения использовался  принцип преемственности с системой "МВС-6000IМ" для облегчения переноса программ на новый кластер.

На "МВС-100K" установлено следующее  программное обеспечение:

• операционная система вычислительных модулей - ОС CentOS 5.6;
• программные средства коммуникационных сетей Infiniband, Ethernet;
• среда параллельного программирования - пакет MVAPICH;
• инструментальные программные средства разработки системного и прикладного программного обеспечения, включающие оптимизирующие компиляторы с языков Си, C++ (icc) и Фортран-77, 90 (ifc) фирмы Intel;
• математические библиотеки MKL фирмы Intel;
• система коллективного использования ресурсов СК - система управления прохождением пользовательских задач (СУППЗ), разработанная ИПМ РАН;
• программные средства удаленного доступа (ssh);

На кластере также установлены  средства профилирования параллельных программ, инструменты параллельного администрирования, управления и тестирования кластера, позволяющие осуществлять проверку состояния и диагностику узлов кластера, создание и модификацию пользовательских бюджетов на узлах кластера, параллельные операции над файлами и выполнение операций на всех узлах кластера.

Работа с системой

Взаимодействие удаленных пользователей  с СК осуществляется по протоколу ssh по адресу mvs100k.jscc.ru.

Компиляция  заданий осуществляется на узле доступа (mvs100k.jscc.ru). Выполнение заданий производится на остальных узлах кластера. Для планирования выполнения заданий используется подсистема коллективного доступа СУППЗ.

Для работы с системой можно временно использовать аналогичную документацию для "МВС-15000BM".