Суперкомпьютер IBM Roadrunner

Оглавление

Общие сведения 2

    Гибридная конструкция 2

    Разработка 3

Архитектура 4

    Процессоры 4

    Opteron 4

    PowerXCell 5

Программное обеспечение 9

Список  литературы 10

1. http://en.wikipedia.org/wiki/IBM_Roadrunner 10

2. http://parallel.ru/computers/reviews/RoadRunner.html 10

3. http://www.lanl.gov/roadrunner/ 10 

 

Общие сведения

    Суперкомпьютер  Roadrunner стал первым компьютером, преодолевшим рубеж производительности в 1 PFlop/s на тесте Linpack. Начиная с 31-ой редакции (июнь 2008 года), он возглавляет список TOP500 наиболее мощных компьютеров мира. Суперкомпьютер создан компанией IBM для Министерства Энергетики США и установлен в Лос-Аламосской национальной лаборатории в Нью-Мексико, США.

    Суперкомпьютер  Roadrunner построен по гибридной схеме из 6480 двухъядерных процессоров AMD Opteron и почти 12960 процессоров IBM Cell 8i в специальных блэйд-модулях TriBlade, соединенных с помощью коммуникационной сети Infiniband. Установка занимает площадь приблизительно 560 квадратных метров, и весит 226 тонн. Общее знергопотребление установки - 2.35 МВт, при этом энергоэффективность составляет 437 MFlop/s/Вт, благодаря чему Roadrunner является 4-м самым энергоэффективным суперкомпьютером в списке Green500. Стоимость IBM Roadrunner составила 133 миллиона долларов. Пиковая производительность суперкомпьютера составила 1.376 PFlop/s, производительность на тесте Linpack - 1.026 PFlop/s.

    Министерство  Энергетики использует RoadRunner для расчёта старения ядерных материалов и анализа безопастности и надёжности ядерного арсенала США. Также планируется использование суперкомпьютера для научных, финансовых, транспортных и аэрокосмических расчетов.

Гибридная конструкция

    Roadrunner отличается от многих современных суперкомпьютеров тем, что это гибридная система, которая использует две разных архитектуры процессоров. Обычно суперкомпьютеры используют только одну архитектуру, так как такую конструкцию проще спроектировать, а также под неё проще разрабатывать программы. Для того же, чтобы реализовать весь потенциал Roadrunner, программное обеспечение должно быть написано специально для такой гибридной архитектуры. Гибридная конструкция состоит из двухъядерного серверного процессора Opteron, который производится компанией AMD с использованием стандартной архитектуры AMD64. К каждому ядру процессора Opteron подключается процессор PowerXCell 8i, который производится компанией IBM с использованием архитектуры Power и технологии Cell. Как суперкомпьютер, Roadrunner можно считать кластером процессоров Opteron с ускорителями Cell, так как каждый узел состоит из ускорителя Cell, подключённого к ядру процессора Opteron, а процессоры Opteron соединены друг с другом.

Разработка

    Roadrunner был в разработке начиная с 2002 года, а начал использоваться в 2006 году. Из-за новой, не применяемой ранее конструкции, и сложности построения, он разрабатывался в 3 этапа и начал полноценно функционировать аж в 2008 году. 

1-й этап

    Первым  этапом разработки суперкомпьютера Roadrunner было создание обычного (хотя и достаточно большого) кластера, построенного на процессорах Opteron, и в то же время оценка возможности в дальнейшем конструировать и программировать будущую гибридную версию. Во время первого этапа Roadrunner достигал производительности в 71 терафлоп и полноценно использовался в Национальной Лаборатории Лос Аламоса для прогрессивного моделирования оружия с 2006 года. Даже если бы Roadrunner не получил зелёный свет для перехода ко 2-му этапу разработки, в своём состоянии после 1-го этапа он всё равно был бы мощнейшим суперкомпьютером и в своё время занял бы место в десятке самых быстрых компьютеров. 
 
 

2-й этап

    2-й этап, также известный как “AAIS” (Advanced Architecture Initial System) – исходная система с усовершенствованной архитектурой – включала создание малой гибридной версии завершённой системы с использованием старой версии процессора Cell. На этом этапе суперкомпьютер использовался для создания прототипов приложений для гибридной архитектуры. 2-й этап завершился в январе 2007. 

3-й этап

    Целью 3-го этапа было достижение устойчивой производительности свыше 1 петафлопа. В новой конструкции суперкомпьютера появились дополнительные узлы процессоров Opteron, а также новые процессоры PowerXCell. Процессоры PowerXCell в 5 раз мощнее процессоров Cell, которые использовались на 2-м этапе. Roadrunner 3-го этапа конструировался в полном масштабе на заводе IBM Poughkeepsie, в Нью Йорке, где он побил барьер в 1 петафлоп во время 4-го запуска 25-го мая 2008 года. Завершённая система была транспортирована на своё постоянное местоположение в Нью Мексико летом 2008 года, где была произведена окончательная настройка приложений, которая длилась до средины 2009 года.

Архитектура

Процессоры

      Roadrunner уникален благодаря своей гибридной архитектуре с использованием двух разных моделей процессоров.

Opteron

      AMD Opteron 2210 частотой 1,8 ГГц. Каждый из процессоров этой модели имеет по 2 ядра общего назначения. Opteron используется как в вычислительных узлах, где он питает процессоры Cell данными, так и в коммуникационных узлах и узлах системных операций, где он передаёт данные между вычислительными узлами и помогает операторам управлять системой. Roadrunner имеет всего 6,912 процессоров Opteron (6,480 вычислительных, 432 операционных), или (12,960+864) 13,824 ядер.

PowerXCell

      IBM PowerXCell 8i, частотой 3,2 ГГц. Каждый из этих процессоров имеет одно ядро общего назначения, и восемь ядер специального назначения для операций над числами с плавающей точкой. Roadrunner имеет всего 12,960 процессоров PowerXCell, с 12,960 ядрами общего назначения и 103,680 ядрами специального назначения, в сумме 116,640 ядер.

Количество  ядер

      В списке Top500 сказано, что Roadrunner имеет 122,400 ядра. Важно знать, какие ядра входят в это суммарное количество.

13,824 ядер Opteron + 116,640 ядер Cell = 130,464 ядер всего в вычислительных и операционных узлах.

Это число больше того, которое указано в Top500. Оказывается, во время оценки производительности с помощью LINPACK Roadrunner использовал только 17 объединённых модулей (Connected Unit) , и ядра в операционных и коммуникационных узлах не учитывались (они не участвовали в тесте).

  • 6,120 процессоров Opteron (2 ядра) + 12,240 процессоров PowerXCell 8i (9 ядер) = 122,400 ядер
 

 

 

 

Схематическое описание блейд-модуля TriBlade

 

 

Блэйд-модули TriBlade

    Логически блэйд-модуль TriBlade состоит из четырёх ядер Opteron, четырёх PowerXCell 8i процессоров, 16 Гбайт памяти для Opteron и 16 Гбайт памяти для Cell. Физически TriBlade состоит из одной платы LS21, платы расширения и двух плат QS22. LS21 содержит два двухъядерных процессора Opteron с 16 Гбайт памяти, по 4 Гбайт на ядро. Каждая плата QS22 содержит два процессора PowerXCell 8i и 8 Гбайт памяти, по 4 Гбайт на каждый процессор. Плата расширения соединяет QS22 через четыре разъёма PCI x8 с LS21, по два разъёма на QS22. Также она обеспечивает подключение Infiniband 4x DDR. В результате один блэйд-модуль TriBlade занимает четыре слота, и три TriBlades помещаются в шасси BladeCenter H.

Объединённый  модуль (Connected Unit)

    Объединённый  модуль - это 60 шасси BladeCenter H с установленными блэйд-модулями TriBlades, всего 180 TriBlades. Все TriBlades подсоединены к 288-портовому маршрутизатору Voltaire ISR2012 Infiniband. Каждый объединённый модуль также подсоединён к файловой системе Panasas через 12 серверов System x3755.

    Системная информация по объединённому модулю:

  • 360 двухъядерных процессоров Opteron с 2.88 Тбайт памяти;
  • 720 процессоров PowerXCell с 2.88 Тбайт памяти;
  • 12 серверов System x3755 с двумя 10 Гбит Ethernet каждый;
  • 288-портовый маршрутизатор Voltaire ISR2012 с 192 Infiniband 4x DDR (180 TriBlades и 12 узлов ввода/вывода).

 

 

Структурная схема многоуровневого  строения кластера суперкомпьютера  Roadrunner

 

 

Кластер Roadrunner

  Кластер собран из 18 объединённых модулей, соединённых через восемь дополнительных (второго уровня) маршрутизаторов ISR2012. Каждый объединённый модуль подсоединён через 12 каналов к каждому маршрутизатору, суммарно получается 96 соединений.

  Суммарная информация по системе:

  • 6480 двухъядерных процессоров Opteron с 51.8 Тбайт памяти (на 3240 LS21);
  • 12960 процессоров Cell с 51.8 Тбайт памяти (на 6480 QS22);
  • 216 узлов ввода-вывода System x3755;
  • 26 288-портовых маршрутизаторов ISR2012 Infiniband 4x DDR;
  • 296 стоек;
  • Энергопотребление системы 2.35 МВт.

Программное обеспечение

    Roadrunner работает под управлением Red Hat Enterprise Linux и управляется при помощи программного обеспечения xCAT. 

 

Список  литературы

  1. http://en.wikipedia.org/wiki/IBM_Roadrunner
  1. http://parallel.ru/computers/reviews/RoadRunner.html
  1. http://www.lanl.gov/roadrunner/
  1. An Introduction to Roadrunner and the Cell Processor, LA-UR-08-2818, C. Wright, P. Henning, B. Bergen (2/7/08)
Суперкомпьютер IBM Roadrunner