Zvýšení Výpočetní Kapacity HPC V Rámci Projektů Hifi a ADONIS
Total Page:16
File Type:pdf, Size:1020Kb
Institute of Physios ASCR, V. V. I. Na SIDvance 2, 182 21 Praha 8 beamUnes !nfo(aIi beams eu wwwe1 beamseu cli I Klasifikace dokumentu UC - Undassified TC ID / Revize 00172578/C Statut dokumentu Document Released Číslo dokumentu N/A WBS kód 5.5 - RP6 Simulations Ii P85 kód E.HPC2.3, E.HPC2.4 Projektové rozděleni Engineering dokumentace Bc Scientific documents (EBcS) Typ Dokumentu Specification (SP) Zvýšení výpočetní kapacity HPC v rámci projektù HiFI a ADONIS [Příloha 2 — Výpočetní HPC zařízení) [TP1 8_600) Klíčová slova HPC, výpočetní, cluster, úložiště dat, NAS, počítač, UPS, Kritická infrastruktura, síť, LAN, Inflniband Pracovní pozice Jméno, Příjmení Odpovědná Computing Engineer, Edwin Chacon Golcher, osoba Junior Researcher kPS Ondøej Klimo HPC Cluster Engineer, Jaromír Němeček, Pøipravil Computing Engineer, Edwin Chacon Golcher, Junior Researcher RP6 Ondøej Klimo *** EUROPEANU1ION European Structural and Invesling Funds Opnratianal Pmgramm Rssearch, * * : FZU * QľveIopmenI and Educaflon I. Institute ot Physics ASCR, V. v. Na Slovance 2, 182 21 Praha 8 beamLines cti _:a,?zli aam: oJ vwe beams.ou Datum vytvoření Datum Posledních RSS TC ID/revize Systems Engineer 014754/A.001 31-Aug-2018 18:10 31-Aug-2018 18:12 Aleksei Kuzmenko 1 014754/A.002 13-Qct-2Q18 21:43 13-Oct-2018 21:45 Aleksei Kuzmenko 014754/A.003 07-Dec-2018 13:19 [ 07-Dec-2018 13:20 Pavel Tùma t2 Revize dokumentu Jméno, Příjmení Pracovní pozice Datum Podpis 4 (revidujícícho) Environmental Protection Hana Maňásková Engineer 12. 17.-%o.ff ø/ ň‘2 Jiří Vaculík Building team Manager 10 ( ‚ A-cnt. Ladislav Pùst Manager installation of technology O.1Z. 2ú1 E %hJ ‚ Libor Tirol Maintenance Manager Jo. 12. 2oĺe ‘ Luboš Nims Head of Electrical engineering ‘4 ý‘.6ř)‘ Marian Videka V Leader (_Zc ( /fC]‘f2 ‘b.-tť Milan Jílek Facility Manager Deputy NOTICE Roman Kuøátko Facility Manager ‘ * 4 - - Stefan Andreas Weber RPS RPG Team Leader ľ / /0./Z. ‚ Tomáš Franek Safety Engineer NOT CE ‚ Veronika Olšovcová Safety Coordinator 1c‘. ďZ. tŮf? . SE a Planning group leader; 2. Ak% Viktor Fedosov LJ/ . Quality Manager / 0 ‘ fl ‚ -:Ý Schválení dokumentu Jégo1Přiqiení Pracovní pozice Datum SdenceaMager, Georg Korn 44 4] ?o1 Historie revizí J Change Log zmny Datum Popis změny, Stránky, Kapitoly TC rey. 1 J. Němeček 09.08.2018 Vytvoření první verze RSD (RSD draft) A J. Němeček, . ‚ 2 1410.2018 RSD aktualizace, verze pro interni revizi B A. Kuzmenko 3 O. Klimo 05.12.2018 Review aktualizace C 1 EUROPEANUNION Strana: 2 / 40 European Strudural and investing FuNS I : .t TC# 00172578/C ‘ OpeíaUanaiprogrammeRosearch. MlN1AflÓ FZU Ľ—_* DeveloprnentandEducatkm __________ lnsttute ať Physics ASCR v. v. I. Na Slovance 2, 182 21 Praha 8 ] beamLines nťoeli beams.eu vw.eIi beams.eu I ‚I, Priloha 2 Výpočetní HPC zařízení Poèet stránek: 40 *** EUROPEAN UNION Strana 3 / 40 Ewopean Structural dmi Investing Funds TC# 00172578/C Operaucnal Prcgramme Roseard,. FZU OevelopmentendEducatial MI‘I“F1 Institute ot Pbysics ASCP. v. v. I., Na Slovance 2(182 21 Praha 8 beamtines no‘eljsarr;ej ‘,v,waii beamc.au I Obsah 1.Uvod 5 1.1. Účel dokumentu 4 S I 1.2. Předmět dokumentu 5 1.3. Pojmy, definice a použité zkratky 6 1.4. Referenční dokumenty 11 1.5. Odkazy na normy nebo technické dokumenty 11 2. Popis. Funkční a výkonové požadavky a požadavky omezující návrh èásti díla 12 2.1. Popis HPC clusteru a jeho správy 12 2.2. Realizace èásti díla „Výpočetní HPC zařízení“ 14 2.3. Dodavatel zhotoví 15 3. Technické a konstrukční řešení a práce 16 3.1. Návrh řešení, technická, konstrukční a provozní dokumentace èásti díla „Výpočetní HPC zařízení“ 16 3.2. Výpočetní jednotky 16 3.2.1. Chlazení výpočetních jednotek 19 3.3. Počítače pro správu a pro přístup 20 3.4. Počítač operátora 22 3.5. Centrální úložiště dat 23 3.6. Úložiště dat NAS 25 3.7. Počítačové sítě 27 3.7.1. Počítačová síť 1GbE 29 3.7.2. Počítačová síť 1OGbE 30 3.7.3. Počítačová síť lOOGbps 31 3.8. Kritická infrastruktura 32 3.9. Počítačové programy 33 3.10. Celková spotøeba elektrické energie 35 4. Požadavky na bezpeènost zařízení 36 5. Ověřování určených parametrù HPC clusteru 37 5.1. Ověření dosaženého výkonu výpočetních jednotek zkouškou 37 5.1.1. Test výkonu výpočetních jednotek 37 5.2. Ověření výkonnosti parametrù sítě s nízkou latencí lOOGbps (Infiniband) zkouškou 37 5.2.1. Test - ověření latence 38 5.2.2. Test - ověření propustnosti 38 5.3. Ověření výkonnosti centrálního úložiště dat zkouškou 38 5.4. Ověření stability a spolehlivosti HPC clusteru 39 5.4.1. Test stability 39 5.5. Ověřeni spotøeby elektrické energie 39 5.5.1. Test spotøeby el.energie 39 hstitute of Physics ASCR, V. V. L Na Slovance 2, 182 21 Praha 8 1 .nroelj beams.eu w.jw ei be3m: CU e11• I 1. Úvod Cílem díla je zvýšení výpočetní kapacity (upgrade) vysoce výkonného výpočetního clusteru (HPC cluster). Stávající technické zařízení je umístěné v prostorách, které již další rozšiřování (upgrade) provozně ani prostorově neumožňují. Proto bude upgrade 5 proveden vybudováním nového pracoviště — serverové místnosti, osazené samostatně funkčním výpočetním HPC zařízením pøi zachování funkènosti stávajícího HPC clusteru v původním místě. Požadavek na zbudování nového pracoviště je součástí tohoto díla a požadavky na jeho zřízení a vlastnosti jsou popsány samostatně v příloze RD-02, „Serverová místnost pro HPC výpočetní zařízení“. Dodané výpočetní L-WC zařízení bude samostatně funkčním řešením, které však musí respektovat technické požadavky, které umožní plnou pøenositelnost zpracovávaných úloh, nebo jejich souèasné zpracovávání mezi stávajícím a nově vybudovaným zařízením. Tyto požadavky jsou součástí tohoto dokumentu. Nové výpočetní HPC zařízení bude instalováno v místnosti, kde doposud není pøipravena žádná podpùrná infrastruktura ani zajištěny provozní podmínky. Součástí Dodavatelem dodaného díla jsou tedy také úpravy, vybavení a provozní uzpůsobení nové serverové místnosti. Dílo dle této smlouvy s názvem „Zvýšení výpočetní kapacity HPC v rámci projektù H1FI a ADONIS“ se skládá ze dvou částí, označovaných jako “části díla“: • Èást díla: „Serverová místnost pro HPC výpočetní zařízení“ • Èást díla: „Výpočetní HPC zařízení“ 1.1. Účel dokumentu a) Tento dokument dále stanovuje požadavky (dále také RSD; Requirements Specification Document) èásti díla „Výpočetní HPC zařízení“ díla „Zvýšení výpočetní kapacity L-WC v rámci projektù HíFI a ADONIS“. b) Tento dokument obsahuje technické požadavky a omezující podmínky na požadovanou èást díla, která je realizována v rámci RP6 programu projektu Zadavatele. Dokument rozhraní může obsahovat i požadavky a identifikaci zařízení (vybavení) s ostatními výzkumnými technologiemi Zadavatele stejně jako se zařízením budov Zadavatele. c) Úpravy, vybavení a provozní uzpůsobení serverové místnosti pro HPC výpočetní zařízení jsou předmětem samostatné přílohy RD-02 „Serverová místnost pro HPC výpočetní zařízení“. 1.2. Předmět dokumentu Dokument vymezuje funkční, technické a výkonové požadavky omezující konstrukční návrh, požadavky na dopravu a instalaci, požadavky na bezpeènost a jakost Dodavatelem zhotovené èásti díla „Výpočetní HPC zařízení“ (zkráceně „HPC clusteť‘). Dokument dále stanovuje požadavky na dopravu a likvidaci materiálu, CtJROPEAN UNION L1i MI%I d Institute of Pbysics ASCP, v, v. L Na Slovance 2, 182 21 Praha 8 beamLines ‘nfoeIjbeamsej wvwe:i beamseu I organizaci práce, rozsah poskytnuté dokumentace, ověřování, schvalovací a předávací proces. HPC cluster je považován za samostatný technologický celek ve formě Výpočetního zařízeni, které bude instalováno do místnosti číslo 2.16, ve 2.NP, budovy è.p. 836. Èást díla definovaná tímto RSD je evidována v databázi PBS pod následujícími PBS kódy: E.HPC2.3, E.HPC2.4. 6 I Dodavatelem dodaný HPC cluster se bude skládat z následujících hlavních částí: o Výpočetních jednotek ( kap.3.2 o Chlazení výpočetních jednotek ( kap.3.2.1 o Počítačů pro správu a počítačů pro přístup ( kap.3.3 o Počítače operátora ( kap.3.4 o Centrálního úložiště dat ( kap.3.5 o Úložiště dat NAS ( kap.3.6 o Počítačové sítě 1GbE ( kap.3.7.1 o Počítačové sítě 1OGbE ( kap.3.7.2 o Počítačové sítě s nízkou latencí lOOGbps (Infiniband) ( kap.3.7.3 1.3. Pojmy, definice a použité zkratky a) Pro úèely tohoto dokumentu jsou použity následující pojmy, zkratky a definice: Tabulka I Zkratka Pojem, definice https://www.zakonyprolidi.cz/cs/2Q16-91 91/20165b z101/2000sb https://www.zakonyprolidi.cz/cs/2000-1Q1 z22/1997sb https://www.zakonyprolidi.cz/cs/1997-22 . http://www.unmz.cz/test/seznam-narizeni-vlady-k-provedeni zakona-c-22- 1997-sb--c574 https://eur-lex.europa.eu/legal “EU‘ 2016/679 ‘ 512-bit Advanced Vector EXtensions SIMD (Single instruction, AVX512 multiple data) instrukce BMC Baseboard Management Controller BSD licence http://www.linfo.org/bsdlicense.html CentOS Distribuce operačního systému Linux - https://centos.org CIFS Common Internet File systém Spojení několika, èasto shodných, zařízení do jednoho funkčního Cluster celku. Cílem sdružení zařízeni do clusteru je zvýšit technické možnosti, které individuální zařízení není schopné poskytnout. CPU Central Processing Unit DDR SDRAM Double Data Rate Synchronous Dynamic Random-Access Memory DHCP Dynamic Host Configuration Protocol DIMM Dual In-line Memory Module Institute ať Phycicc ASCR, v. v, i., Na Slovance 2, 182 21 Praha 8 beamLines nfoeIi ceams e wwwek beams.au di I Zkratka Pojem, definice DNS Domain Name systém ECC Error-Correcting Code memory EDR Enhanced Data Rate Infiniband ELl Extreme Light Infrastructure ELI2 Budova Zadavatele è.p. 836, Dolní Břežany Souhrn technologií pro počítačové sítě (LAN)