Nextscale Cluster • 180 Узловой Суперкомпьютер С V.3 Haswell Processors • Свыше 5000 Ядер И 8TB Памяти • Пиковая Производительность Порядка 200 Tflops • 3Шт

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ РЕШЕНИЯ КОМПАНИИ LENOVO STAR RUSSIA 2016

НИЖНИЙ НОВГОРОД 17.05.2016

Сергей Горбас

Руководитель направления Lenovo HPC, Россия/СНГ Широкий выбор решений – настольные компьютеры

Настольные компьютеры и Ноутбуки и ультрабуки графические станции

ThinkPad L ThinkStati ThinkPad X on ThinkPad W

Планшеты Мониторы и тонкие клиенты

ThinkPad 8 ThinkPad 10 ThinkVision

2 Широкий выбор решений - серверы

High-End стоечные системы Интегрированные решения

BladeCenter

Системы высокой плотности 1S и 2S серверы

System x

Cloud Analytics HPC

3 Широкий выбор решений – системы хранения

Cистемы хранения данных Ленточные библиотеки

Storwize

LTO5 LTO6

Сетевая инфраструктура Инфраструктура

InfiniBand Rack FCoE Ethernet PDU

UPS

Cloud Analytics HPC

4 Эволюция System x HPC

• Lenovo продолжает инновации на рынке высокоплотных систем • Линия на развитие 2015+ Dense Optimized систем с дизайном HPC • Продвижение гибкой • Продолжение инновационной инфраструктуры узлов, высокоплотной платформы стоек размещения и iDataPlex дизайна ЦОДов • Адаптирована для открытых стандартов вычислений, интеконнекта и СХД NeXtScale 2013 • Устанавливаемая в стандартные стойки • Самая низкая стоимость • Разработанная платформы на сегодняшний специально для HPC день центров • Первая система высокой 2009 iDataPlex плотности и энергоэффективности • 2U шасси - конструктор • Первый PetaFlop кластер! • Реальный PetaFlop на тесте Linpack: BladeCenter H, AMD Opteron, RoadRunner 2008 InfiniBand DDR • Технология Cell • Рождение системы xCAT 2.0 • Первый x86 Linux кластер System х в Top500. № 80 Ноябрь 2000. • 256 узловая система 2000 Los Lobos GbE интерконнект • University of New Mexico 5 Los Lobos System Who is Lenovo?

Yesterday Today Tomorrow

Fast growing innovator World Leader in Client Tech – Leader in consumer and . Company founded in 1980s investing in the Enterprise enterprise IT solutions . $46 Billion, Fortune 500 Company

. 54K employees, 160+ countries . Driving to #1 in mobile, . HQ: Beijing, China; Raleigh N.C PC’s, x86 servers, HPC . Grew organically, through . Global R&D and supply chain major acquisitions SMART . Invests in Innovation CONNECTED

. Ranked as Top 25 most DEVICES

innovative companies . #1 in WW PC market share TOTAL DEVICE PORTFOLIO . #2 in WW PC & Tablet market . World renowned products share . #3 in WW Smart Connected Devices

Наши клиенты в промышленности

9 Наши клиенты в науке и в образовании

ПНИПУ

УГНТУ

ЛЭТИ 10 Наши клиенты -

• Проектируют и создают высокоэффективные двигатели для гражданской авиации. Для Суперджета-100

• Расчитывают и производят цельнолитые роторы для авиационных двигателей

• Производят расчёты течения газов в сопле камеры сгорания с высокой точностью, что позволяет контролировать задачи экологических свойств авиационного двигателя

• Применяют суперкомпьютерные технологии в исследовании процессов в парамагнитных и ферромагнитных наноструктурах (графены), что важно для технологий получения нанодетекторов слабых излучений и создания компактных систем быстрой магнитной записи

• Создают высокоэффективные Паровые турбины повышенной мощности для энергетического комплекса.

11 Наши клиенты -

• Решают междисциплинарые задачи аэро – гидроупругости, виброустойчивости, моделируют быстропротекающие процессы, которые востребованны в авиа и ракетостроении, на транспорте, в нефтяной про-ти и газоперекачке, обогощении мин удобрений. Одновременно с выч экспериментами проводятся физические эксперименты ПНИПУ - верификация

• Осуществляют сборку геномов основных древесных хвойных деревьев Сибири совместно с Центром геномных исследований. Ведут работы по созданию референсного генома, что позволит сохранить селекцию, вывести породы, устойчивые к вредителям, с ускоренным выращиванием, с определенными свойствами (напр, породы более подходящие в качестве биотоплива).

• Готовят специалистов по аэрогидродинамическим расчетам, численному моделированию аэродинамических процессов. Создают виртуальные модели газотурбинных и ракетных двигателей. Проектируют оптимальные конструкции из композитных материалов

12 Наши клиенты -

• С помощью Квантово-химических вычислений и Молекулярной динамики проводят компьютерное моделирование материалов с заданными свойствами, предсказывают новые типы молекулярных соединений

• Осваивают радиосистемы, аналоговую/цифровую схемотехнику и технику обработки сигналов, занимаются анализом сигналов и волновой радиоэлектроники, цифровой обработкой сигналов, защитой информации в беспроводных сетях

• Более эффективно осуществляют поиск месторождений, строят модели месторождения, рсчитывают оптимальные схемы бурения. Контролируют текущее состояние бассейна. Визуализируют данные расчетов сейсморазведки

13 Комплексное решение Lenovo HPC

• Предварительное заводское тестирование на отказоустойчивость и совместимость компонентов работать вместе. • Выгодное использование конструкторских, тестировочных, производственных ресурсов и инвестиций Lenovo • Значительное сокращение времени развертывания и снижение рисков для клиентов • Доставляется на площадку в собранном и укомплектованном виде, остается лишь подключить питание и приступить к работе. • Компоненты установлены, скаблированы, а кабели промаркированы в соответствии с кабельным журналом и схемой коммутации. 14 We are Lenovo. We are HPC.

Опытная HPC команда

Качество, которому Проверенные можно доверять Инновации

Портфолио, оптимизированное для HPC

15 HPC Innovation Center Partners

Industry Leaders Clients Visionary Client Partners VARs SIs LRZ – Energy Efficient Systems and Software Intel – Processing / Acceleration

Daresbury – HPC Software and Optimization Mellanox – High Speed Fabrics HPC BSC – Extreme Application o Innovation Scaling Nvidia – Graphics Processing Center CINECA – Big Data IBM – Files System and Workload RZG – Advancing Material Science

Bringing together the newest Focused knowledge and deep technologies and skills ISVs skills to advance the science of HPC 17 Недавние “HPC победы” Lenovo в Европе

И другие …

Lenovo is a Full member on the European Technology Platform 4 HPC

ETP4HPC will define research priorities for the development of a globally competitive HPC technology ecosystem in Europe. It will propose and help to implement a Strategic Research Agenda, while acting as the “one voice” of the European HPC industry in relations with the European Commission and national authorities.

LRZ – 2,5 PF, NextScale на “горячей воде” 18 HPC Innovation Center at Stuttgart, Germany

System is Ready to do benchmarks “Chinese computing giant Lenovo has announced the opening of its first High-Performance Computing “Lenovo Means Business: New HPC (HPC) Innovation Centre, located in Innovation Centre To Expand Enterprise Stuttgart, Germany” Server Capabilities” — Gareth Halfacree, Bit-Tech, Mar 25 — Shannon Greenhalgh, Misco IT, UK, Mar 26 2015 2015

“Lenovo creates an initial tellurian High Performance Computing (HPC) “Lenovo’s energized Enterprise Systems creation core in Stuttgart, Germany. Group comes out swinging” This reaffirms their commitment to — Charles King, Pund IT, Mar 25 2015 the space” 19 — Datacenter Management, Mar 26 2015 Суперкомпьютер LENOX, Stuttgart, Germany Суперкомпьютер LENOX (Leno(vo's) X Cluster) - NeXtScale Cluster • 180 узловой суперкомпьютер с v.3 Haswell Processors • Свыше 5000 ядер и 8TB памяти • Пиковая производительность порядка 200 TFLOPs • 3шт. GSS24 параллельная СХД с ёмкостью 1.5PB • Интерконнект MPI Infiniband EDR • RedHat Enterprise Linux RHEL (!)

20 ПОРТФЕЛЬ РЕШЕНИЙ LENOVO HPC ОДНОЗНАЧНО ОТВЕЧАЕТ ПОТРЕБНОСТЯМ КЛИЕНТА И ОСНОВНЫМ СЕГМЕНТАМ РЫНКА

Application New Ready SolutionsNew for Auto/Aero, Life Sciences, New Petroleum, Telecom,

Big Data Flex SystemsTM Integrated hybrid system ® ® System x Storage System Redefining x86 High New performance storage NewNew GPFS™ Storage Server NeXtScale System™

Big data Hyperscale, Density, Flexibility HPC Cloud storage Parallel New New Environment

IBM IBM Platform Platform™ LSF® Symphony New Family Family xCAT Intelligent Cluster™ IBM IBM Platform Factory-integrated, interoperability-tested system with Platform compute, storage, networking and cluster management HPC Cluster Manager GPFS™ 27 27 New Продукт 2013 года - NeXtScale Улучшенная архитектура для масштабируемых вычислений Standard Rack Шассии Области применения

High Performance Computing

Вычислительный Узел . Архитектура для настоящего и будущего . Высокая плотность и гибкость платформы (до 2520 ядер на стойку 42U) . Лучше плотность в датацентре и гибкость Модуль хранения данных . Совместимость со стандартными стойками Refresh 1 . Оптимизирован для коммутаторов TOR . Шасси за невысокую стоимость для Модуль ввода-вывода/GPU установки в стандартную стойку

Refresh 2 . Новые процессоры Intel E5-2600 v2/v3 . Предназначен для построения отказоустойчивых решений More Coming . Большое портфолио 31 3131 Компоненты NeXtScale

Шасси NeXtScale n1200 Enclosure 6U высота 12 узлов в шасси Воздушное или водяное охлаждение

Модуль хранения данных Storage NeX 7 дисков 3,5”

Модуль ввода- Вычислительный узел Вычислительный узел для вывода (GPU / Phi) NeXtScale nx360 M5 водяного охлаждения PCI NeX 2x E5-2600v3 (до 18 ядер / cpu) NeXtScale nx360 M5 WCT 2 слота PCIe x16 FH До 512 ГБ RAM 2x E5-2600v3 (до 18 ядер / cpu) FL До 2 PCIe слотов + RAID слот До 256 ГБ RAM ( 2x 300W GPU) До 4x 2,5” или 1x 3,5” или 4x 1,8” До 2 PCIe слотов дисков 34 NeXtScale 2U GPU/Storage Tray - part of Refresh 2

4x HS HDDs

GPU

Compute Node

• Half-wide, 2U high Native Expansion tray attaches above a NeXtScale Supported Cards: nx360 M5 compute node. • Intel Xeon Phi 7120P • Supports up to 4x GPU cards (up to 300W each) via 2x 3U risers • NVIDIA Grid K1, K2 connecting to PCI slots on the compute node. • NVIDIA Tesla K10, K40, K80 • Enables density of 2.67 GPUs / U (16 GPUs / 6U chassis) • Includes one HDD cage supporting 4x 2.5” front Hot-Swap HDD.

38 Вычислительный узел с водяным охлаждением nx360 M5DWC

. Полной ширины, 2 (два) сервера в Серверы nx360 M5 DWC (в паре) CPU паре with Водяные liquid трубки cooled heatsink x16 . 4x Intel E5-2600 v3, 16x DDR4 DIMMs DIMMs

. Водяной контур прямо в сервер ( до t=45С на входе)

1 GbE 1 Power Dual-port PCI slot for ports GbE , LEDs Connect IB ML2 ports . Сенсоры утечек воды (IB/Ethernet) Система подачи Шасси n1200 DWC воды в шасси n1200 . Блоки питания 6x 900W или 1300W DWC

. Вентиляторы только в БП

. PUE ~ 1,1 при Free Colling

до 12х серверов в шасси с водяным охлеждением 40 ТРИ СПОСОБА ОХЛАЖДЕНИЯ ДАТАЦЕНТРА Водяное охлаждение Воздушное Водяные двери в стойках внутри серверов охлаждение

. Используюся стандартые . Стандартые вентиляторы в . 100% водяной контур вентиляторы в оборудовании оборудовании + водяная дверь . Самый энергоэффективный способ . Подходит для любого на задней панели в стойке охлаждения ЦОД Датацентра . Используется охлажденная . Повторное использование энергии . Максимальная гибкость вода ~18С . Идеально подходит для Датаценторов . Широкий выбор опций . Отсутствуют холодные/горячие с высокими затратами на . Идеально при малых зоны в ЦОД электроэнергию и новых ЦОД-ов кВ/стойка . Стойки можно размещать . Процессоры работают на . Надо учитывать максимально близко друг к максимальных частотах холодные/горячие зоны в другу . Использование горячей воды 45С ЦОД . PUE = ~1.2 . PUE <= 1.1 . PUE = ~1.5 Баланс между гибкостью Выбор для максимальной Широчайший выбор конфигурации и производительности и опций энергоэффективностью энергоэффективности 42 X6: Шестое поколение технологии EXA

Быстрый. Гибкий. Откзоустойчивый. Инновационный eXFlash Оптимизированные = 43% ниже стоимость конфигурации = 28% Надежность решения ниже стоимость корпоративного класса 3x больше оперативной приобретения CPU, Memory, I/O гибкость памяти, 50% больше Легка в конфигурации Интегрированное ядер процессора = и сервисе управление Hypervisor лидирующая прозво- Поддержка на дительность с базами протяжении нескольких данных поколений Масштабируемость 47 X6: Шестое поколение технологии EXA x3950 X6

До 8 процессоров на систему До 12TB оперативной памяти DDR3

eXFlash DIMM До 30% ниже латентность в сравнении с PCIe Flash До 32 шт 200 GB DDR3 Storage DIMM До 32 шт 400 GB DDR3 Storage DIMM

49 GPFS ДЛЯ LINUX- Когда нужно использовать GPFS КЛАСТЕРОВ Приложения, требующие быстрого, Каждый файл хранится на масштабируемого доступа к большим множестве узлов и множестве объемам файловых данных дисков для улучшения  Визуализация данных производительности  Обработка сейсмических данных для геологоразведки Выглядит как большой Среды с большими требованиями по «виртуальный диск" объему хранимых данных, особенно, когда одиночный файловый сервер (такой как Высокопроизводительные NFS) достигает своих ограничений совместно используемые  Цифровые библиотеки диски  Большие объемы файлов САПР /gpfs Приложения, требующие высоких скоростей доступа к данным  Большое агрегированное пространство для Client Client Client Client научных/коммерческих приложений Fast Interconnect (Myrinet / Gigabit Ethernet)  Предоставление доступа к данным большому количеству пользователей при Server Server сбалансированной производительности Приложения, требующие высокой Disks Disks доступности файловой системы

56 56 DECLUSTERED RAID1 EXAMPLE

21 stripes (42 strips)

7 stripes per group 49 strips (2 strips per stripe) 3 1-fault- tolerant 3 groups spare 7 disks 7 spare groups 6 disks disk strips 60 DECLUSTERED RAID1 REBUILD EXAMPLE – SINGLE FAULT failed disk failed disk

time time

Rd Wr Rd-Wr

Rebuild activity confined Rebuild activity spread across to just a few disks – slow many disks, faster rebuild or rebuild, disrupts user less disruption to user programs programs

61 Distributed RAID 6 example

Example: Distribute 3+P+Q over 10 drives with 2 distributed spares Drive In this instance D1D1 D2D2 D3 PP Q D1 D2 D3 D3 Row P Q D1 D2D2 D3D3 PP Q D1D1 D1 these 5 rows make D2D2 D3D3 P Q D1 D2 D3 P P Q D1D1 D2 D3D3 PP Q D1D1 D2D2 D2 up a pack D3D3 P Q D1 D2 D3 P Q Q We allocate the spare space depending on the pack number

The number of rows in a pack depends on the number of strips in a stripe, this means the pack size is constant for an array Extent size is irrelevant

14 physical disks / 3 traditional RAID6 arrays / 2 spares 14 physical disks / 1 declustered RAID6 array / 2 spares EXAMPLE – TWO FAULTS

Decluster data, parity and spare

failed failed disks disks Number of faults per Number of faults per failed stripe failed stripe disks disks Red Green Blue Red Green Blue 0 2 0 1 0 1 0 2 0 0 0 1 0 2 0 0 1 1 0 2 0 2 0 0 0 2 0 0 1 1 0 2 0 1 0 1 0 2 0 0 1 0 Number of stripes with 2 faults = 7 Number of stripes with 2 faults = 1 64 CRITICAL REBUILD TEST WITH 8+3P AND 3 DISK FAILURES

65 Lenovo System X GPFS Storage Server (GSS)

Ключевые возможности 2 х Управляющих сервера IBM System x3650 М5 От 2 х JBOD Enclosures Производительность от 10 GB/sec HDDs до 6TB + 2 x 200GB SSD (метаданные) Декластеризованный программный RAID (GPFS Native RAID) До 3 (трех) сбойных дисков в RAID Быстрое востановление после сбоев Автоматическая миграция данных Графический интерфейс (GUI)

Отсутствие аппаратных контроллеров!

GSS 24: Light and Fast GSS 26: HPC Workhorse High-Density HPC Option 2х 3650 servers + 2х 3650 servers + 6х 3650 servers + 18х JBOD 4х JBOD 20U rack 6х JBOD Enclosures, 28U 2х - 42U Standard Racks 67 10 GB/Sec 12 GB/sec 36 GB/sec ТЕСТИРОВАНИЕ GSS24

Проведенно компанией Крок, Б. Боваев

68 GPFS NATIVE RAID (GSS) FEATURES – ТЕХНИЧЕСИЕ ХАРАКТЕРИCТИКИ . Declustered RAID: Reduce rebuild duration and performance degradation . Data, parity stripes and spares are uniformly partitioned and distributed across a disk array. . Distinguish critical and non-critical stripes, and prioritize rebuilds accordingly . Arbitrary number of disks per array (not constrained to an integral number of RAID stripe widths) . 2-fault and 3-fault tolerance: Tolerate more disk failures . 2 or 3-fault-tolerant Reed-Solomon parity encoding: stripes = 8 data strips + 2 or 3 parity strips . 3 or 4-way mirroring (can coexist with Reed-Solomon volumes on same distributed array) . End-to-end checksum: Detect/correct off-track I/O & dropped writes . Disk surface to GPFS user/client . Disk hospital: Asynchronous, global error diagnosis . If media error: verify and restore if possible; if path problem: attempt alternate paths . Track disk service times, and replace slow disks . Multipathing done by GPFS, no multipath driver needed More details: IBM’s GNR Youtube video from USENIX LISA 2011 69 at http://www.youtube.com/watch?v=2g5rx4gP6yU Lenovo ThinkServer sd350 2U4N System Ультра-плотная платформа для Hyper-конвергентных решений с большой емкостью

Dense platform with enterprise- New! class features in a 2U package

. Up to four 2P Intel Xeon E5-2600 v4 (20 cores) 135W, with DDR4 Memory (up to 32GB DIMMs,512GB), up to 2400 MHz . Over 28TB storage capacity . A variety of network options: 1GbE/10GbE/40GbE + 8Gb/16Gb Fibre Channel

Infra- Virtual- Enterprise Cloud Database structure ization Apps

74 Lenovo NeXtScale nx360 M5 Compute Node Дизайн без излишеств обеспечивает оптимальное сочетание высокой плотности установки, производительности и доступности

Больше ядер, чем в предыдущих 22% моделях

. 2P Intel Xeon E5-2600 v4 (44 cores) with TruDDR4 Memory (up to 32GB DIMMs, 512 GB), 2400 MHz . 2X the density of 1U Rack Systems, up to 84 per rack . Nearly 3,700 cores, and 43 TB of DDR4 memory in 42U rack

• Nice DCV • VmWare • Citrix

86 86 PLATFORM COMPUTING ЛИДЕР В ОБЛАСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ КЛАСТЕРОВ, ВЫЧИСЛИТЕЛЬНЫХ СЕТЕЙ И HPC CLOUD

• Предлагает лидирующий планировщий заданий LSF с 23 of 30 largest интелектуальной автоматизацией кластера HPC commercial • Непревзойденная масштабируемость (от маленького кластера до enterprises глобального GRID) и промышленная надежность, проверенная временем 60% of top financial • Гетерогенность – управляет System x и Power платформами, services виртуальными машинами и “голым железом”, ускорителями/ GPU, companies облаками и т.д..

• Использует информацию о территориальной расположености Over 5M CPUs данных, глубоко интегрируется с параллельной файловой under системой GPFS и демонстрирует лидирующую management производительность • Общие сервисы для интенсивных вычислений и интенсивных рабочих нагрузок с данными

87 87 What may happen when you just change frequency?

∆f=-26% ∆f=-26%

∆Power=-26% ∆Power=-17%

∆Time=+26% ∆Time=+5%

∆Energy=~0% ∆Energy=-12%

90 How LL/ LSF Automatically Select Optimal CPU frequency

• Step I: Learning . Step II: Set Default Frequency – LSF evaluates the power profile of all – System administrator defines cluster default cpu nodes frequency (nominal or lower frequency) – calculates coefficients factors . Step III: Tag the job first time – save them in the energy database – User submits the application with a tag – runs the job under default frequency – LSF collects and reports energy consumption, IBM Platform LSF Energy runtime, performance metrics (cpi, gbs)rs (EAS) DB predict – Generates predication result and saves in DB . Step IV: Use predication – User re-submits the same application with the same tag and specifies energy policy – LSF selects the optimal cpu frequency for application based on predication result and policy setting. – Run the application under selected frequency

91 AC POWER MEASUREMENTS ON DX360M5

AC power measurements on Tian Den

92 ПРЕДСТАВЛЯЕМ СЕМЕЙСТВО ПРОДУКТОВ PLATFORM LSF

Platform Application Center Platform Platform Process Analytics Manager

Platform Platform RTM Make Platform LSF

Platform Platform Session MultiCluster Scheduler

Platform Platform Adaptive License Cluster Scheduler

95 95 PLATFORM APPLICATION CENTER

. Доступ к ресурсам из любого браузера . Мониторинг состояний различных компонент кластера . Комплексное представление заданий и гибкле управление . Индивидуально настраиваемые страницы и формы запуска приложений . Запуск заданий, пакетов и процессов и форм приложений . Детализированное управление доступом . Интегрируется с: . Platform License Scheduler, . Platform Process Manager . Platform Analytics

Самый мощный и всеобъемлющий веб-портал для HPC задач и управления

98 98 МОНИТОРИНГ И УПРАВЛЕНИЕ ЗАДАНИЯМИ И ДАННЫМИ

Пользователи могут контролировать и управлять работой с любого у-ва с браузером

Закачать локальные данные и получить доступ к разделяемым хранилищам и улучшить взимодействие.

Уведомления об изменении состояния задания позволяет пользователям оперативно принимать решения

101 101 УПРАВЛЕНИЕ ЛИЦЕНЗИЯМИ: IBM PLATFORM PROCESS MANAGER Кластерная и проектная политики планирования

Сервер лицензий Cluster A: 70% лицензий Cluster B: 30% лицензий STAR-CCM+

Сервер лицензий STAR-View Сервер лицензий Nastran STAR-CD STAR-CD Ansys CFX STAR-CAD Nastran Ansys Ansys LS-DYNA Кластер №1 CFX CFX Кластер №2 ABAQUS LS-DYNA OpenFoam

Проект А Проект Б Проект Б Проект В

104 PLATFORM MULTICLUSTER

Cluster A

Cluster B Grid Cluster E

Cluster C

Cluster D Управление вашими ресурсами из любой точки мира 106 106 PLATFORM RTM

Intuitive, operational dashboard Visually monitor multiple clusters.

Instant access to real-time information on jobs, stats and remote console.

Dynamic host color-coding based on configurable thresholds.

107 107 Сергей Горбас Руководитель направления Lenovo HPC Тел: +7 (985) 727 54 19 e-mail: [email protected]