cli Odpovědná osoba Pøipravil Typ dokumentace WBS Projektové P85 Statut dokumentu Klasifikace HPC, Zvýšení Dokumentu kód kód dokumentu beamUnes výpočetní, rozděleni cluster, výpočetní Junior Junior Computing Computing HPC Specification Engineering E.HPC2.3, 5.5 Document UC [Příloha Cluster - - úložiště Researcher Researcher Undassified RP6 Pracovní FZU Engineer, Engineer, Simulations E.HPC2.4 Engineer, Released dat, Bc (SP) HiFI 2 Scientific RP6 kPS NAS, pozice kapacity — [TP1 Výpočetní Klíčová počítač, a TC Číslo Institute documents 8_600) *** ADONIS * * ID * slova UPS, : dokumentu / of Revize HPC Opnratianal European EUROPEANU1ION QľveIopmenI HPC Kritická Physios (EBcS) Jaromír Ondøej Ondøej Edwin Edwin Structural zařízení) Pmgramm infrastruktura, and v ASCR, Educaflon 00172578/C N/A rámci Chacon Chacon and !nfo(aIi Klimo Klimo Jméno, Němeček, Rssearch, V. Invesling V. I. Golcher, Golcher, beams Funds Na síť, Příjmení projektù SIDvance LAN, eu I Inflniband wwwe1 2, 182 21 beamseu Praha 8 Ii cti ‚ I. 4 Georg Tomáš Viktor Veronika Stefan Roman Jiří Milan Marian Luboš Libor Ladislav Hana zmny . 014754/A.003 014754/A.002 014754/A.001 3 2 1 Jégo1Přiqiení RSS Vaculík TC# Jméno, Strana: (revidujícícho) Tirol Jílek Maňásková Korn Fedosov Nims beamLines Andreas Franek Videka Kuøátko 00172578/C TC Pùst A. J. O. J. Olšovcová 2 ID/revize Příjmení Němeček Němeček, Kuzmenko / Klimo 40 Weber SdenceaMager, 09.08.2018 05.12.2018 Quality SE Safety Safety RPS Facility V Maintenance 1410.2018 Manager Facility Head Building Engineer Environmental 07-Dec-2018 31-Aug-2018 13-Qct-2Q18 Leader Datum Datum a FZU Historie / Planning of RPG Coordinator Engineer Manager Manager Manager Electrical Schválení team Pracovní installation vytvoření Pracovní Team Revize 21:43 13:19 Manager 18:10 Vytvoření Popis Review RSD Manager group revizí Protection Leader Deputy Ľ—_* I pozice engineering aktualizace, pozice
změny, : Institute dokumentu ‘ of aktualizace leader;
dokumentu [ J 07-Dec-2018 31-Aug-2018 první 13-Oct-2018 technology . t . Change Datum Stránky, 1 ot OpeíaUanaiprogrammeRosearch. EUROPEANUNION DeveloprnentandEducatkm European verze Physics verze Posledních RSD Strudural Kapitoly 21:45 pro Log 13:20 / 18:12 44 12. /fC]‘f2 /0./Z. ASCR,
1c‘. Jo. 0
O.1Z.
* ‘4 (RSD 10 interni ‘ 4] 17.-%o.ff Datum fl and ďZ.
_:a,?zli
12. ( 4 Datum ý‘.6ř)‘ investing V. ?o1 draft) ‚ tŮf? v. LJ/
revizi 2oĺe
- ‘b.-tť 2ú1 aam: FuNS Aleksei Aleksei Pavel Na NOTICE NOT Systems E Slovance Tùma ‚ ‘ oJ
CE .
Kuzmenko Kuzmenko %hJ
ø/ (_Zc ‚ - Engineer vwe 2, 2.
Podpis A-cnt. ‚ 182 ň‘2 MlN1AflÓ TC -:Ý Ak% ‘ A C B rey. 21 ( beams.ou
‚ Praha 1 ľ 8 t2 ______
lnsttute ať Physics ASCR v.v. I. Na Slovance 2, 182 21Praha 8 ] beamLines nťoeli beams.eu I vw.eIi beams.eu
‚I, Priloha 2 Výpočetní HPC zařízení Poèet stránek: 40
*** EUROPEANUNION Strana 3 / 40 Ewopean Structural dmi Investing Funds TC# 00172578/C Operaucnal Prcgramme Roseard,. FZU OevelopmentendEducatial MI‘I“F1 Institute ot Pbysics ASCP. v. v. I.,Na Slovance 2(182 21 Praha 8 beamtines
no‘eljsarr;ej I ‘,v,waii beamc.au
Obsah
1.Uvod 5 4 1.1. Účel dokumentu S I 1.2. Předmět dokumentu 5 1.3. Pojmy, definice a použité zkratky 6 1.4. Referenční dokumenty 11 1.5. Odkazy na normy nebo technické dokumenty 11 2. Popis. Funkční a výkonové požadavky a požadavky omezující návrh èásti díla 12 2.1. Popis HPC clusteru a jeho správy 12 2.2. Realizace èásti díla „Výpočetní HPC zařízení“ 14 2.3. Dodavatel zhotoví 15 3. Technické a konstrukční řešení a práce 16 3.1. Návrh řešení, technická, konstrukční a provozní dokumentace èásti díla „Výpočetní HPC zařízení“ 16 3.2. Výpočetní jednotky 16 3.2.1. Chlazení výpočetních jednotek 19 3.3. Počítače pro správu a pro přístup 20 3.4. Počítač operátora 22 3.5. Centrální úložiště dat 23 3.6. Úložiště dat NAS 25 3.7. Počítačové sítě 27 3.7.1. Počítačová síť 1GbE 29 3.7.2. Počítačová síť 1OGbE 30 3.7.3. Počítačová síť lOOGbps 31 3.8. Kritická infrastruktura 32 3.9. Počítačové programy 33 3.10. Celková spotøeba elektrické energie 35 4. Požadavky na bezpeènost zařízení 36 5. Ověřování určených parametrù HPC clusteru 37 5.1. Ověření dosaženého výkonu výpočetních jednotek zkouškou 37 5.1.1. Test výkonu výpočetních jednotek 37 5.2. Ověření výkonnosti parametrù sítě s nízkou latencí lOOGbps (Infiniband) zkouškou 37 5.2.1. Test - ověření latence 38 5.2.2. Test - ověření propustnosti 38 5.3. Ověření výkonnosti centrálního úložiště dat zkouškou 38 5.4. Ověření stability a spolehlivosti HPC clusteru 39 5.4.1. Test stability 39 5.5. Ověřeni spotøeby elektrické energie 39 5.5.1. Test spotøeby el.energie 39 hstitute of Physics ASCR, V.V.L Na Slovance 2, 182 21 Praha 8 e11•1 CU .nroelj beams.eu I w.jwei be3m:
1. Úvod
Cílem díla je zvýšení výpočetní kapacity (upgrade) vysoce výkonného výpočetního clusteru (HPC cluster). Stávající technické zařízení je umístěné v prostorách, které již další rozšiřování (upgrade) provozně ani prostorově neumožňují. Proto bude upgrade 5 proveden vybudováním nového pracoviště — serverové místnosti, osazené samostatně funkčním výpočetním HPC zařízením pøi zachování funkènosti stávajícího HPC clusteru v původním místě. Požadavek na zbudování nového pracoviště je součástí tohoto díla a požadavky na jeho zřízení a vlastnosti jsou popsány samostatně v příloze RD-02, „Serverová místnost pro HPC výpočetní zařízení“.
Dodané výpočetní L-WCzařízení bude samostatně funkčním řešením, které však musí respektovat technické požadavky, které umožní plnou pøenositelnost zpracovávaných úloh, nebo jejich souèasné zpracovávání mezi stávajícím a nově vybudovaným zařízením. Tyto požadavky jsou součástí tohoto dokumentu. Nové výpočetní HPC zařízení bude instalováno v místnosti, kde doposud není pøipravena žádná podpùrná infrastruktura ani zajištěny provozní podmínky. Součástí Dodavatelem dodaného díla jsou tedy také úpravy, vybavení a provozní uzpůsobení nové serverové místnosti.
Dílo dle této smlouvy s názvem „Zvýšení výpočetní kapacity HPC v rámci projektù H1FIa ADONIS“ se skládá ze dvou částí, označovaných jako “části díla“: • Èástdíla: „Serverová místnost pro HPC výpočetní zařízení“ • Èástdíla: „Výpočetní HPC zařízení“ 1.1. Účel dokumentu
a) Tento dokument dále stanovuje požadavky (dále také RSD; Requirements Specification Document) èásti díla „Výpočetní HPC zařízení“ díla „Zvýšení výpočetní kapacity L-WCv rámci projektù HíFI a ADONIS“. b) Tento dokument obsahuje technické požadavky a omezující podmínky na požadovanou èást díla, která je realizována v rámci RP6 programu projektu
Zadavatele. Dokument může obsahovat i požadavky a identifikaci rozhraní zařízení (vybavení) s ostatními výzkumnými technologiemi Zadavatele stejně jako se zařízením budov Zadavatele. c) Úpravy, vybavení a provozní uzpůsobení serverové místnosti pro HPC výpočetní zařízení jsou předmětem samostatné přílohy RD-02 „Serverová místnost pro HPC výpočetní zařízení“. 1.2. Předmět dokumentu
Dokument vymezuje funkční, technické a výkonové požadavky omezující konstrukční návrh, požadavky na dopravu a instalaci, požadavky na bezpeènost a jakost Dodavatelem zhotovené èásti díla „Výpočetní HPC zařízení“ (zkráceně „HPC clusteť‘). Dokument dále stanovuje požadavky na dopravu a likvidaci materiálu,
CtJROPEANUNION
L1i MI%I d Tabulka zařízeni, organizaci Dodavatelem 1.3. Èást předávací kódy: HPC AVX512 CPU Cluster z22/1997sb CIFS CentOS z101/2000sb Zkratka DIMM DHCP DDR BSD BMC “ EU‘ beamLines . 91/20165b a) ‘ cluster díla Pojmy, licence SDRAM E.HPC2.3, 2016/679 o o o o o o o o o Pro I které Chlazení Výpočetních Počítačové Počítačové Počítačové Úložiště Centrálního Počítače Počítačů definovaná proces. úèely práce, je dodaný bude považován definice tohoto E.HPC2.4. dat operátora pro výpočetních Spojení Common zakona-c-22- Central celku. http://www.unmz.cz/test/seznam-narizeni-vlady-k-provedeni Distribuce http://www.linfo.org/bsdlicense.html Dual Dynamic Baseboard multiple 512-bit Double možnosti, https://eur-lex.europa.eu/legal https://www.zakonyprolidi.cz/cs/1997-22 https://www.zakonyprolidi.cz/cs/2000-1Q1 https://www.zakonyprolidi.cz/cs/2Q16-91 rozsah sítě sítě sítě Pojem, instalováno HPC tímto úložiště NAS jednotek správu dokumentu In-line s 1OGbE 1GbE Cílem cluster Data nízkou Advanced a Processing ( za několika, data) RSD Host Internet kap.3.6 ( poskytnuté použité které operačního definice a dat Management samostatný kap.3.4 jednotek ( Memory ( počítačů sdružení Rate ( 1997-sb--c574 kap.3.7.1 je kap.3.2 Configuration instrukce se do kap.3.7.2 latencí ( individuální jsou kap.3.5 evidována bude èasto Synchronous Vector místnosti File Unit zkratky Module Institute použity ( pro zařízeni systému lOOGbps systém skládat kap.3.2.1 dokumentace, shodných, technologický Controller EXtensions přístup v číslo zařízení Protocol of následující do databázi z Pbysics Linux (Infiniband) Dynamic následujících clusteru ( 2.16, zařízení kap.3.3 není SIMD - ASCP, celek https://centos.org PBS ověřování, ve pojmy, Random-Access schopné je ‘nfoeIjbeamsej (Single do 2.NP, v, ( pod ve zvýšit kap.3.7.3 jednoho v. hlavních formě L zkratky následujícími budovy Na poskytnout. instruction, technické schvalovací Slovance funkčního Výpočetního částí: a Memory è.p. definice: I wvwe:i 2, 836. PBS 182 a 21 beamseu Praha 8 I 6 Institute ať Phycicc ASCR,v. v, i.,Na Slovance 2, 182 21Praha 8 beamLines di nfoeIi ceams e I wwwek beams.au Zkratka Pojem, definice DNS Domain Name systém ECC Error-Correcting Code memory EDR Enhanced Data Rate Infiniband ELl Extreme Light Infrastructure ELI2 Budova Zadavatele è.p. 836, Dolní Břežany Souhrn technologií pro počítačové sítě (LAN) dle lEEE 802.3 Ethernet https://standards.ieee.org/findstds/standard/802.3-2012.html Neblokující tlustý strom - topologie propojovací sítě. Každý Fat-Tree, koncový bod sítě je dostupný z libovolného jiného koncového non-blocking bodu sítě, přičemž tato dostupnost je zcela nezávislá na komunikaci libovolných dalších koncových bodù sítě. Škálovatelný distribuovaný monitorovací nástroj GANGLIA http://www.ganglia.info Great Internet Mersenne Prime Search, projekt založený na hledání velkých prvočísel, provozovaný společností Mersenne GIMPS Research, Inc., SAN DIEGO, CA 92131 (https://www.mersenne.org/) Cpu Graphics Processing Unit FTP File Transfer Protocol Nonconformity Report (Protokol o neshodě, interní pojem NCR Zadavatele) HA High Availability (vysoká dostupnost) HDD Hard Disk Drive (pevný disk) HPC High-Performance Computing Technologie používaná výrobcem procesori pro zjednodušené Hyperthreading zajištěnĺ vícevláknového paralelního zpracování strojových instrukci HW Hardware, fyzické èásti zařízení Institute of Electrical and Electronics Engineers lEEE https ://www.ieee.org IPMI Intelligent Platform Management Interface Kritická infrastruktura Viz kap 3.8 Keyboard, Video, Mouse over IP - tento zpùsob připojení poskytuje stejné možnosti jako pøi přímé práci s daným strojem, KVM0IP avšak vstupy z klávesnice a myši a video výstup z počítače jsou přenášeny pøes síť pomocí protokolu IP. LAN Local Area Network (místní počítačová síť) Počítačový program. Poskytuje zpùsob, jak dynamicky měnit LMOD prostředí operačního systému uživatele https://lmod.readthedocs.io/en/latest/
(. •• EUROPEANUNION Strana: 7 I 40 EuropeanSt,ucturaland nvestingFunds TC# 00172578/C ‚ * operaticnai Prgramme Rsearch, FZU * Oevelopmenland Eduvatian MIN‘tP JCAT CN di RAID qcow2 RACK QEMUJKVM PXE Prime95 PSU OSUMicro- OS QpenMPI PDS Denchmarks NFS NAS MVAPICH2 MTBF mikrovýpadek MPI Zkratka MIC MariaDD beamtines . stojan . Také Jedná systémù https://cs.wikipedia.org/wiki/RAID organizovaných tohoto Test IEC kabelovych různých Konstrukční CPU zpracování Redundant http://www.iec.ch/) ukládání dostupný_na modelu obecne projektem Program Preboot nízké Napájecí Operating Implementace Počítačový Velmi Product (http://mvapich.cse.ohio-state.edu/benchmarks/) distribuovaná Implementace https://www.open-mpi.org Network Network Mean počítačových_programech. větví počítačovými Many https://mariadb.org Message Relační Pojem, pomocí latence oznaèován databáze napětí, Time Integrated krátká formátu. se 60297 ‘ eXecution Breakdown zarizeni, pouzivan elektrických databáze, - Attached File obrazù zdroj QEMU Passing System https://www.qemu.org o definice GIMPS program Between rozvodu střídavého dynamického systém Array sítě www System ztráta potøebné souborový pod počítače programy. MySQL ‚ standardu standardu do jako vytváøi diskù s (International Care umoznujicich stránkách_projektu_GIMPS. Storage licencí (operační nízkou Interface Environment jako ______. pro struktury Structure napájeni of která do umožňující Failures, vyvinutý Institute ‚ „Datový a architecture https://en.wikipedia.org/wiki/19-inch_rack virtuálních k sloupcu elektronických (Power Independent hledání napětí v napájení test formát BSD latencí binárního je (datové MPI počítači MP! ať systém) MPI — budovy s Střední (interní rozvaděč“. spolehlivosti komunitou - Georgem Physics Supply cílem Standard nad dodávaného vyvinutého http://mvapich.cse.ohio-state.edu pøehlednou beh prvočísel. (Infiniband) používaný distribuovaná komponent serverù, se Electrotechnical úložiště sebe virtuální pøekladu (běžně sirokeho zajistit doba pojem používá ASCP, Disks. Unit) zařízení Woltmanem v pro nocPel vyvíjenou qcow2 ocelovem mezi Pro dostupné pocitacu. v. Ohio montáž je méně Zadavatele) programem diskovou z stroj, a počítače. v. zasíláni spektra zařízení, především poskytuje spolu elektrické svoji i., Pole závadami pod Óeams Na ‘ State je než který a Slovance novější sítí ramu. nástupnickou Commission, efektivitu s a licencí diskù propojování redundanci. Program I zpráv ai operacnich vyústěním sloužící používaný University vteøina) LAN) QEMU množinu emuluje sítě v v.;jwe‘i verze 2, HDD mezi DSD I-WC 182 MINI na ke je je ‚ k 21 baamseu Praha UCAYON 8 I8 Institute ať Phycics ASCR v. v. É Na Slovance 2, 182 21Praha 8 beam[ines di Lnaeli beams.ej I wwwe:i bearns.eu
Zkratka Pojem, definice \Á - - RAID třídy 1. Redundance je zajištěna tzv. zrcadlením disku. RAID1 Každý_disk v_poli_má_svojí_funkční_kopii. RAID třídy 5. Redundance je zajištěna rozložením kopií dat na více diskù prostřednictvím samoopravného kontrolního souètu. RAID5 Samoopravné souèty zabírají kapacitu jednoho èlena RAID pole a 19 jsou_uloženy_na všech èlenech střídavě. RAID třídy 6. Redundance je zajištěna rozložením kopií dal na vice diskù prostřednictvím samoopravného kontrolního souètu. RAIDG Samoopravné souèty zabírají kapacitu dvou èlenù RAID pole (na každém je samoopravný kód vypoèten jiným zpùsobem) a jsou uloženy_na všech èlenech střídavě. RAM Random-Access Memory (operační paměť) I Vlastnost, která zajišťuje prostřednictvím nadbytečných částí funkènost celku pøi selháni nebo odstavení některé z provozních Redundance nebo konstrukčních èásti celku. V takovém případě nadbyteèná èást nebo vlastnost přebírá funkènost nebo vlastnost selhané nebo odstavené èásti. Výzkumný program 6 (Research program 6, interní pojem RP6 Zadavatele) RPM Revolutions Per Minute (otáèky za minutu) Requirement Specification Document (technická specifikace, RSD interní pojem Zadavatele) Viz RD-02,kap.3.4.3, síť A je napájecí síť nezajištěná Sít A, Síť C nepřerušovaným napájením a síť C je zajištěna nepřerušovaným napájením (UPS). (Simple Linux Utility for Resource Management) - Slurm Workload SLURM Manager. https://slurm.schedmd.com/ Small Form-factor Pluggable - je kompaktní (za provozu odpojitelný) transceiver pro připojení k telekomunikační nebo SFP+ datové komunikační síti, který podporuje rychlosti pøenosu dat až 16 GigaBitù za vteøinu. SNMP Simple Network Management Protocol Standard Performance Evaluation Corporation SPEC https ://www.spec.org/ Performance test of SPEC, verze 2017, 1.0.2 nebo novější SPEC CPU2O17 (https://www.spec.org/benchmarks.html#cpu) Jeden ze sledovaných ukazatelù výkonu CPU dle SPEC CPU2O17, SPECrate2Ol7 . . ‚ tzv. Floating Point Rate, zakladni hodnota (base). fp base (https://www.spec.org/cpu2017/) Solid-State Drive - zařízení pro ukládání dat, které neobsahuje SSD pohyblivé_mechanické_èásti Standard pro záznam zpráv o èinnosti. Sys Iog https ://tools.ietf.org/html/rfc5424 TC ID TeamCenter jednoznaèná IDentifikace (interní pojem Zadavatele)
•:: :: MINI 2!JCAT Institute ot Physics ASCP,v. v. Í. Na Slovance 2, 182 21Praha 8 1 beamLines ntoeIí beams eu I .w ei beaITi: Cu Zkratka Pojem, definice TCO Total Cost Of Ownership Pojem Ukončení je použit pro postup, kterým dojde k řízenému Ukonèeni odstavení zařízení provozně běžným postupem nebo podle zvláštních pokynù výrobce. Uninterruptible Power Supply - zdroj nepřerušovaného napájení je zařízení, které zajišťuje souvislou dodávku elektrické energie pro spotøebièe, které nesmějí být neočekávaně vypnuty. Termín „zdroj nepřerušovaného napájení“ odpovídá èeské normě ÈSN EN 62040 Pokud je pojem uveden u úložiště samotného, jedná se o celkovou velikost všech poskytnutých blokových neopakujících se kapacit z pohledu operačního systému přímo pøipojeného Užitná kapacita klientského zařízení. Pokud se odkazuje pojem na filesystém, jedná se o kapacitu, kterou daný připojený filesystém oznamuje klientskému operačnímu systému. Verification Control Document (kontrolní dokument ověřování, VCD interní pojem Zadavatele) VIAN Virtual Local Area Network VM Virtual Machine WBS Work Breakdown Structure (interní pojem Zadavatele) XCAT EXtreme Cluster/Cloud Administration Tool kit - https ://Xcat.org Označení generace G4bitových procesorù pro počítače IBM PC x86/64 kompatibilní Metalická počítačová síť Ethernet o rychlosti 1 GigaBit za vteøinu, 1GbE dle lEEE 802.3, typ l000Base-T s podporou VIAN IEEE8O2.1Q (ieee.org) Metalická počítačová síť Ethernet o rychlosti 10 GigaBitù za 1OGbE vteøinu, dle lEEE 802.3, typ lOGBase-T s podporou VIAN IEEE8O2.1Q a agregace sítě lEEE 802.3ad (ieee.org) Optická počítačová síť o rychlosti 10 GigaBitù za vteøinu, dle lOGbps lEEE 802.3, typ dle požadavků přílohy RD-02, „Serverová místnost pro HPC výpočetní zařízenľ‘. Počítačová síť s nízkou latencí o rychlosti 100 GigaBitù za vteøinu, lOOGbps kompatibilní se standardem EDR dle IBTA (InflniBand Trade Association,_http://infiniband.org/)
b) Pro specifikaci kapacity a rychlosti pøenosu dat jsou používány jednotky:
• 1KB=lO24Bytù • 1MB=1024KB • 1GB=1024MB • 1TB=1024GB • 1PB=1024TB • 1 Gbit = 1 000 000 000 bitù
*** EuR0PEANUNI0N Strana 10 / 40 EuropeanstiduraĺandlnveslingFunds TC# 00172578/C ‚ . O9erabonMPrcgrammeRnoarch FZU * * * oeveopmenlsndsducalion
di
RD-02
RD—o1
KV—O1
GT—o1
È.
Republiky,
podmínkami
neplatí
že
odstavec
technické
V
1.5.
Tabulka
1.4.
dok.
případě,
provedené
beamLines
II)))))
Odkazy
Referenční
pro
00172575-B_S
00172578-B_SS_ES_SP_Příloh
Příloha
Příloha
0019
Krycí
Příloha
Název
3,
2
zákony
dokumenty,
že
vyhlášky,
zákona
1096-B_S
s list
dílo
3,
využitím 2,
1,
text
vítězné
Serverová
Výpočetní
Dokumentu
Všeobecné
na
splňuje
Èeské
obsahuje
.5_ES_SP
.5_ES_SP_Příloh
è.
normy
dokumenty
nabídky
nařízení
134/2016
odkazu
Zadavatel
místnost
HPC
Republiky
podmínky
rovnocenným
zařízení
odkazy
/
nebo
zmocněných
na
Souboru
pro
a_2—RSD_Výpočetní_H
a_1—RSD_všeobecné_pod
Sb.
realizace
normy
HPC
akceptuje
nebo
technické
Dodavatel
na
výpočetní
zpùsobem
hsttute
pøedpisy
normy
díla
nebo
regulačních
i
technické
zařízení
v
of
nebo
rovnocenná
takovém
(nebo
Pl‘ysicc
dokumenty
Pc_za
istnost_pro_HPC_výpočetn
požadavky
m
standardizované/standardizační
in
řízen
orgánù,
jejich
ky_realizace_díla_TP18_600.pdf
dokumenty.
48CR,
případě
í_TP
řešení
noelr
èásti)
vymezené
18_Gao.
v.
nařízení
v.
i,
doloží
na
beamzei
ve
Na
Toto
pdí
jejich
Slovance
smyslu
i_zařízen
vlády
technickými
skuteènost,
ustanovení
úrovni.
Èeské
wwwe
í_TP
2,
90,
182
18_600.pdf
21
beam5.eu
Praha
ON
B
I 11 Instituteot Physics ASCP,v.v. I.,Na Slovance 2, 182 21Praha 8 __• beam[ines noZPelióeams.e I www.elibeams.eu
2. Popis. Funkční a výkonové požadavky a požadavky omezující návrh èásti díla 2.1. Popis HPC clusteru a jeho správy
Tento oddíl popisuje oèekávané vlastnosti èásti díla ‚Výpočetní HPC zařízeni“. Většina těchto vlastností bude později definována jako požadavky, které musí být Dodavatelem splněny a jejich splnění bude ověřeno.
a) Žádné dále uvedené počítačové zařízení nebude zpracovávat osobní data ve smyslu zákona è.101/2000Sb. v platném znění (2017) a Nařízeni Evropského parlamentu a Rady (EU) 2016/679. b) Jednotlivé výpočetní jednotky slouží ke zpracování uživatelských počítačových programù. Tyto programy, jejich vstupní data a zpracovaná výstupní data jsou uloženy a ukládány přímo na centrálním úložišti dat. c) Centrální úložiště dat je rozděleno na několik částí (sdílených filesystémù). Na nich jsou èásti programového vybavení, domácí adresáø uživatele a pracovní adresáø pro běžící uživatelské úlohy, případně další pomocné fllesystémy. d) Výpočetní jednotky neukládají trvale žádné informace lokálně a po ukončení úlohy nebo novém spuštění se nacházejí vždy ve výchozím stavu. Proto počítače pro správu poskytují výpočetním jednotkám služby identifikace v síti, jmenné služby, služby plánování úloh a informaci o èase. Zpracování uživatelských úloh výpočetními jednotkami není interaktivní, ale má dávkový charakter. Jednotlivé výpočetní jednotky obvykle spolupracují pøi zpracování úloh s dalšími výpočetními jednotkami (vytváří tzv. cluster) a to především pomoci f!IEI. Samotná výměna informací mezi výpočetními jednotkami během zpracování úloh se děje prostřednictvím sítě s nízkou latencí (Infiniband). e) K přípravě úloh, jejich spouštění, rušeni a získání výsledků uživatelem slouží počítače pro přístup. Tyto mají přístup do stejného obsahu centrálního úložiště dat jako výpočetní jednotky, a to pro každého uživatele samostatně. f) Počítače pro přístup jsou vybaveny identickým operačním systémem jako výpočetní jednotky a počítače pro správu. g) Vzhledem k tomu, že počítačové programy uživatelů mají rùzné nároky na nastavení vlastností prostředí operačního systému, použité programové knihovny, verze počítačových programù apod., bude využit nástroj LMOD, který umožňuje nastavovat individuálně tyto odlišnosti. LMOD bude konfigurován v prostředí
výpočetních jednotek, počítačů pro přístup i počítačů pro správu. Protože se jedná o sdílený prostøedek, soubory konfigurované LMQD budou uloženy v samostatném filesystému (programové vybavení) na centrálním úložišti. h) K tomu, aby HPC cluster mohl pracovat, musí být schopen zajistit zavedení operačních systémù do jednotlivých výpočetních jednotek - což je úkol virtuálního serveru XCAT,který běží na jednom z počítačů pro správu. Virtuální server XCAT poskytuje výpočetním jednotkám služby identifikace v síti, jmenné služby, služby synchronizace èasu a také poskytuje samotný operační systém zaveditelný prostřednictvím PXE do výpočetních jednotek. Virtuální server XCAT dále ‚ • Institute of Physics ASCR,v. v. L Na Slovarce 2, 182 21Praha 8 CL1 beamÅines n±«äaIí beamseu I wvwe1i beamseu
komunikuje se správou výpočetních jednotek (prostřednictvím protokolu IPMI) a dovede výpočetní jednotky vypínat, spouštět, zjišťovat a měnit jejich provozní charakteristiky. i) Zaváděný operační systém výpočetních jednotek musí obsahovat ovladaèe sítě s nízkou latencí (Infiniband) a ovladaèe sdílených filesystémù centrálního úložiště dat, a to automaticky funkční po zavedení operačního systému. j) K tornu, aby bylo možné úlohy uživatelem spouštět, sledovat a rušit na požadovaném poètu výpočetních jednotek, bude použit centrální plánovaè úloh SLURM. Ten běží na tøech virtuálních serverech na počítačích pro správu. SLURM se skládá z hlavního serveru, jeho záložního serveru a serveru, kde jsou uloženy informace o historii využití výpočetních jednotek (databázový server na bázi MariaDB). Informace o aktuálním stavu všech výpočetních jednotek a jejich využití jsou uloženy na sdíleném fllesystému datového úložiště NAS, kam má přístup jak hlavní, tak záložní server SLURM. k) K vizualizaci stavu a historie využití HPC clusteru se využívá nástroj GANGLIA. Kolektor údajù z jednotlivých částí HPC clusteru poběží jako tzv. GANGLIA virtuální server na některém z počítačů pro správu. 1) S ohledem na velký objem zpracovávaných dat a jejich ukládaní èi získávání z filesystému centrálního úložiště budou tyto dostupné pro výpočetní jednotky, počítače pro správu a počítače pro přístup prostřednictvím počítačové sítě s velkou datovou propustností, tedy lOOGbps (Infiniband). Počítače pro správu a počítače pro přístup budou navíc využívat úložiště dat NAS prostřednictvím sítě 1OGbF. Sdílené filesystémy centrálního úložiště budou dostupné také protokolem NFS minimálně verze 3, stejně tak v případě úložiště dat NAS. m) Protože v praxi dochází k paralelnímu využití sítě s nízkou latencí (Infiniband)
nejen pro přístup k centrálnímu úložišti dat, ale i k vzájemné komunikaci výpočetních jednotek (MPI), je nutné pro konstrukci této sítě využít neblokující (non-blocking) topologii Fat-Tree. n) Dva počítače hudou urèeny pro správu HPC clusteru (tzv. počítač pro správu), tj. budou hostovat virtuální servery a dva počítače budou sloužit pro přístup uživatelů (tzv. počítač pro přístup). Počítače pro správu a počítače pro pøistup budou provozně zaměnitelné, tj. všechny počítače pro správu budou instalovány jako počítače pro pøistup s možností tento pøistup zakázat. Všechny počítače pro přístup budou současně nastaveny jako servery se schopností hostit virtuální počítače, tj. konfigurace všech počítačů pro správu a přístup bude stejná a bude se lišit pouze velikostí dostupných zdrojù. o) Virtuální servery bude možné pøesouvat bez přerušení jejich èinnosti (tzv. migrace) mezi všemi počítači pro správu a počítači pro přístup. Proto budou obrazy diskù těchto virtuálních serverù uloženy na úložišti dat NAS. p) Celý HPC cluster bude do prostředí Zadavatele zpřístupněn optickým spojem lOGbps SFP+ vyvedeným do již existujícího přípojného bodu v místnosti 2.12 budovy è.p. 836 (tedy ve stejné lokalitě a na stejném patøe), dle přílohy RD-02 „Serverová místnost pro HPC výpočetní zařizeni“. q) HPC cluster je rozdělen na dvě bezpečnostní oblasti: Kritickou infrastrukturu a výpočetní jednotky s jejich chlazením. Dùvodem rozdělení HPC clusteru na dvě bezpečnostní oblasti je snížení nákladu Zadavatele na nepřerušované napájeni serverové místnosti (viz RD-02,kap.3.4.3.2).
* * * EUROPEANUNION Strana: 13 / 40 EuropeanStructurarand InvesiingFunds TC# 00172578/C ‚ * OperaUcnalProgramme Research. * * FZU Developmonland Educa(ion Institute of Phycicc ASCR v. v. I Na Slovance 2, 182 21 Praha 8 ‘ 1JflflJ beamtines d. I www.ei beam:eu
r) Napájení a chlazení Kritické infrastruktury bude zajištěno prostřednictvím nepřerušovaného napájení sítě C (viz RD-02,kap.3.4.3). V případě selhání napájení serverové místnosti musí být Kritická infrastruktura schopná uchladit prvky Kritické infrastruktury a zajistit jejich napájení do doby jejich bezpeèného ukončení èinnosti bez rizika ztráty nebo poškozeni dat uložených v úložištích dat. s) Výpočetní jednotky budou napájeny sítí C. Pøi výpadku napájení bude èinnost výpočetních jednotek co nejrychleji Ukonèena nebo budou přímo vypnuty. Dùvodem tohoto opatření je ochrana èinnosti HPC clusteru pøed mikrovýpadky napájení (viz RD-02,kap.3.4.2.4). Chlazeni výpočetních jednotek bude vypnuto jen, pokud je to technologicky možné a neohrozí to èinnost chlazení Kritické infrastruktury. t) Výpočetní jednotky budou obsahovat identické vícejádrové procesory (CPU) typu x86/64, které budou z dùvodu kompatibility s již existujícím HPC clusterem podporovat instrukce AVX512. Poèet fyzických jader procesorù výpočetních jednotek je navržen tak, aby každá samotná jednotka měla dostateènou výpočetní kapacitu (poèet jader nejméně 12) a aby prvočíselný rozklad poètu fyzických jader obsahoval pouze číslice 2 a 3. Tyto hodnoty jsou zvoleny z dùvodu flexibility pøi rozdělování výpočetní oblasti do domén u paralelních úloh využívajících metodu doménové dekompozice a zároveň jsou stanoveny tak, aby nebyly příliš omezující. Pro zjednodušení jsou přípustné hodnoty poètu jader na procesor uvedeny v požadavku v kap.3.2 výčtem.
2.2. Realizace èásti díla „Výpočetní HPC zařízení“
a) Dodavatel zhotoví technický návrh řešeni HPC clusteru, konstrukční dokumentaci, nastaveni a provozní dokumentaci. Zhotovenou dokumentaci nechá Dodavatel pøed další realizací èásti díla schválit Zadavatelem. b) Technologické èásti chlazení výpočetních jednotek je možné umístit na střeše budovy. c) Dodavatel zhotoví HPC cluster, propojí a nastaví všechny jeho èásti dle Zadavatelem schválené dokumentace, dle dále uvedených požadavků a konstrukčních požadavků v RD-02,kap.3. d) Zadavatel nevyžaduje, aby Dodavatel instaloval a nastavoval počítačové programy LMOD, SLURM, MariaDD, GANGLIA. Pokud některý z nich bude potøeba pro provedení zkoušek dle kap.5, Dodavatel požádá vèas Zadavatele o provedeni instalace (viz GT-O1,kap.3.5) nebo èinnost provede ke své újmě. e) Zadavatel poskytne Dodavateli informace nutné pro nastavení počítačových sítí, přístupu k prostøedkùm clusteru a informace o zpùsobu zajištěni sledováni (viz RD-02,kap.3.7). f) Dodavatel zajistí organizaci prací, dodávky materiálu a technických součástí. g) Dodavatel zajistí likvidaci odpadu. h) Dodavatel zajistí dodržování bezpeènosti práce pracovníky Dodavatele v prostoru Zadavatele podle jeho pokynù a školeni (viz GT-O1,kap.3).
Strana 14 / 40 TC# 00172578/C * * * -iDevelcpmcntand EducatIan FZU A ‘ ID d T# Strana S 2.3. respektem beamLines j) n) g) 1) ľ) e) d) c) a) m) k) i) h) b) 00172578/C :15 Dodavatel jeho Výpočetní Technický Dílo Úložiště Centrální Dodavatel Provede Uvede Připraví Připojí Propojí Počítačové Počítače Počítače iv. iii. v. / ii. i. 40 pøedá zavedení. k Technické instalovaná optický Postupy opatření. Postupy Běžnou Údržbu. všechna omezujícím dat zaveditelný pøedepsané pro pro úložiště jednotky vypracuje návrh Zadavateli. sítě NAS. správu přístup. zhotoví spoj manipulaci 1GbE, pro pro zařízení HPC r FZU dat. podklady zařízení obnovení do nouzové včetně podmínkám a zkoušky Operační dokumentaci clusteru počítač 1QGbE, počítačové a jako zajistí jejich v odstavení. a chod èinnosti a operátora. lOOGbps. a systém r je postupy odstraní konstr. a chlazení. požadovaný Institute odstaveni, sítě požadavkům ** a pro: ** odzkouší po HPC pro a zjištěné pro selhání of provozní Developme‘ilandEducalion OpetaUanal Europeao EUROPEANUON clusteru. Physics výpočetní spuštění, bezpeènost je zpùsob dle Structura na napájení vady Programnio ASCR, dokumentaci kap.3 provozní napájení. jednotky, ard èásti nfoeIj nastavení. sear1, v. lnvestng Dodavatel serverové práce v díla. L, a beamse Fumls Na mezní vè. a a Slovarce nastavení. protipožární místnosti. zhotoví: prostøedku situace. I wvwei 2, 182 21 bearns.eu Praha 8 Institute ať Pbycicc ASCP,V. v. I.,Na Slovance 2, 182 21Praha 8 beamLines
inťoeljbeams.ej I w.pweii beamceu 3. Technické a konstrukční řešení a práce 3.1. Návrh řešení, technická, konstrukční a provozní dokumentace èásti díla „Výpočetní HPC zařízení“
Dodavatel zhotoví konstrukční, technickou a konfigurační dokumentaci realizace èásti díla „Výpočetní HPC zařízeni“ včetně výpočtů, časových plánù, postupù práce a pracovníků Dodavatele určených k jejich provedení dle GT-01,kap.6 3.2. Výpočetní jednotky
Výpočetní jednotky jsou samostatné počítače sloužící ke zpracování úloh uživatelů. Výpočetní jednotky není vyžadováno zajistit tzv. nepřerušitelným napájením (UPS), musí být však zajištěny proti tzv. mikrovýpadkům (viz RD-02,kap.3.4.2.4). Poèet výpočetních jednotek navrhne Dodavatel. Pøi návrhu poètu jednotek vezme v úvahu i dopady na požadovaný příkon napájení, tepelné ztráty a jejich chlazení. Vyhodnocovaným ukazatelem je celkový výpočetní výkon všech výpočetních jednotek na vyžadovaném operačním systému, který bude ověřen zkouškou (viz kap.5.1). Provozní vlastnosti budou ověřeny zkouškou stability (viz kap.5.4). REQ-024333/A Celkový výpočetní výkon všech výpočetních jednotek na vyžadovaném operačním systému musí být nejméně roven hodnotě vypočítané jako souèin poètu výpočetních jednotek N a výkonu jedné výpočetní jednotky S, kde hodnoty S a N odpovídají údajùm uvedeným v Krycím listu vítězné nabídky Dodavatele z výběrového ří2ení, který je přílohou KV-01 této smlouvy.
Metoda ověření: T — zkouška dle postupu v kap.5.1. REQ-024334/A Všechny výpočetní jednotky musí být identické.
Metoda ověření: I — inspekce REQ-024335/A Výpočetní jednotky nebudou osazeny procesory GPU nebo MIC.
Metoda ověřeni: I — inspekce REQ-024336/A Výpočetní jednotky musí obsahovat identické vícejádrové procesory (CPU) typu x86/64 s podporou AVX512.
Metoda ověření: I — inspekce REQ-024337/A Použité procesory (CPU) výpočetních jednotek musí mít 12, 16, 18, 24 nebo 32 fyzických jader (core) každý.
Metoda ověření: I — inspekce
Strana: 16/40 TC# 00172578/C * * * Qevelapmont and Educatlon FZO MO Institute of Physics ASCP,v.v. i.,Na Slovance 2, 182 21 Praha 8 beamLjnes
‘nfoeli beams.eu I ww.eIi
REQ-024338/A Výpočetní jednotky musí být osazeny operační pamětí typu ECC DDR4 SDRAM o frekvenci 2666 MHz nebo vyšší. Kapacita operační paměti musí být minimálně 8 GB na každé CPU jádro výpočetní jednotky.
Metoda ověření: I — inspekce REQ-024339/A Všechny paměťové kanály-sběrnice všech procesorù každé výpočetní jednotky musí být využity operační pamětí a to stejnoměrně.
Metoda ověření: I — inspekce REQ-024340/A Výpočetní jednotky nebudou mít povolen tzv. ‘Hyperthreading‘, nicméně k provedeni testù a měření výkonu může být dočasně povolen.
Metoda ověření: I — inspekce REQ-024341/A Výpočetní jednotky musí být navíc vybaveny lokálním úložištěm dat typu SSD o velikosti minimálně 100 GB.
Metoda ověření: I — inspekce REQ-024342/A Každá výpočetní jednotka musí být vybavena minimálně jedním rozhraním počítačové sítě 1GbE pro přístup k operačnímu systému.
Metoda ověření: I — inspekce REQ-024343/A Každá výpočetní jednotka musí být vybavena minimálně jedním rozhraním počítačové sítě s nízkou latencí iOOGbps (Infiniband) na každé dva procesory.
Metoda ověření: I — inspekce REQ-024344/A Výpočetní jednotky musí být vybaveny BMC s podporou KVM0IP pro vzdálenou správu výpočetní jednotky, kompatibilní se standardem IPMI2.0. Síťové připojení IPMI může být fyzicky sdíleno s 1GbE. Metoda ověření: FD - funkční ukázka REQ-024345/A Výpočetní jednotka musí podporovat zavedení operačního systému (PXE) počítačovou sítí 1GbE. Metoda ověření: FD - funkční ukázka REQ-024346/A Adresy rozhraní počítačové sítě 1GbE výpočetních jednotek musí být nastaveny pevně (statické) pomocí protokolu DHCP z virtuálního serveru XCAT. Metoda ověření: FD - funkční ukázka Institute ot Pbysics ASCP,v. I Na Slovance 2, 182 21Praha 8 beamlines
I ‘noeh beams.e I wvvw.e beams.eu
REQ-024347/A Adresy rozhraní počítačové sítě 1GbE pro správu BMC výpočetních jednotek musí být nastaveny pevně (statické) pomocí protokolu DHCP z virtuálního serveru XCAT. Metoda ověření: I - Inspekce REQ-024348/A Adresy rozhraní počítačové sítě s nízkou latencí musí být nastaveny pevně (statické) pomocí protokolu DHCP z virtuálního serveru XCAT pro všechny výpočetní jednotky. Metoda ověřeni: FD - funkční ukázka REQ-024349/A Výpočetní jednotky musí mít záložní napájecí zdroje (PSU) nebo musí využívat spoleèné napájecí zdroje (PSU) šasi se schopností pøekonat selháni alespoň jednoho zdroje bez ztráty výkonu a plné funkènosti (tzv. redundance).
Metoda ověření: FD — funkční ukázka RFQ-024350/A Výpočetní jednotky nebo jejich šasí musí mít všechny napájecí zdroje (PSU) zapojené do napájecích rozvodù sítě C.
Metoda ověření: I — inspekce REQ-024351/A Výpočetní jednotky musí být opatøeny chlazením schopným zajistit trvalý plný výkon, a to bez omezení životnosti zařízení, viz kap.3.2.1. Metoda ověření: T - zkouška (viz RD-02,kap.4.2). REQ-024352/A V případě selhání chlazení výpočetních jednotek musí být výpočetní jednotky automaticky vypnuty bez ohledu na jejich provozní stav.
Metoda ověření: T — zkouška (viz RD-02,kap.4.2) REQ-024353/A V případě selhání napájení výpočetních jednotek, nesmí být po obnoveni napájení tyto aktivovány (spuštěny) bez lidského zásahu.
Metoda ověření: T — zkouška (viz RD-D2,kap.4.1) REQ-0243 54/A Výpočetní jednotky nebo jejich šasi musí poskytovat informaci o selhání nebo riziku selhání, překročení provozních stav¼i, spuštění a vypnutí a neoprávněném přístupu prostřednictvím emailové zprávy a tzv. Syslog zprávy. Metoda ověření: FD - funkční ukázka REQ-0243 55/A Selhané redundantní èásti zařízení (PSU) výpočetních jednotek musí být možné vyměnit za chodu bez ztráty výkonu nebo plné funkènosti. Metoda ověření: FD - funkční ukázka
•..fl EURCPEÁNUNION Strana: 18 / 40 Euíopean Structuralind InvestináFunds TC# 00172578/C ‚ * OperaticnalProgrammeRaseard.. FZU * w and Institute ot PbySiCG ASCR v. v. I. Na Slovance 2, 182 21Praha 8 beamtines
I infoeli beam: eu I wvwe beamseu
REQ-024356/A Pokud výpočetní jednotky budou umístěny do šasi, je požadováno, aby odpojení od napájení a počítačových síti včetně demontáže výpočetní jednotky bylo možné bez ovlivnění funkce ostatních výpočetních jednotek. Metoda ověření: FD - funkční ukázka REQ-0243 57/A Výpočetní jednotky musí využívat operační systém Linux, konkrétně aktuální distribuci CentOS kompatibilní s instalovanými souèástmi těchto jednotek. Je vyžadováno, aby všechny souèásti výpočetních jednotek byly podporovány danou distribucí nebo výrobcem počítače. Metoda ověření: FD - funkční ukázka 3.2.1. Chlazení výpočetních jednotek a) Chladící subsystém a požadavky na něj kladené jsou uvedeny v příloze RD-02,kap.3.8. Tyto požadavky však nezahrnují chlazeni výpočetních jednotek. Toto chlazení navrhne Dodavatel samostatně a s respektem k poètu výpočetních jednotek, jejich umístění, použité technologii chlazení a maximálnímu ztrátovému teplu. Navržené řešení musí plnit všechny všeobecné požadavky v příloze RD-02,kap.3.8. b) Narozdíl od Kritické infrastruktury (viz RD-02,kap.3.8) není Zadavatelem vyžadováno, aby chlazení výpočetních jednotek bylo odolné proti výpadku napájení, tj. jeho èásti nebo celé chladící zařízení může být napájeno ze sítě A (viz RD-02,kap.3.4.3) přičemž: a. nesmí dojit k omezení chlazení Kritické infrastruktury. b. výpočetní jednotky musí být v takovém případě spolehlivě vypnuty pøi výpadku napájení. c. chlazeni výpočetních jednotek musí být schopné pøekonat mikrovýpadky.
REQ-024358/A Dodavatel navrhne a zhotoví takové chlazení výpočetních jednotek, které bude bezpeèné, tj. s dostateènou rezervou ochrání výpočetní
jednotky i v případě selhání èásti zařízení a přechodových stavech chladících zařízení (přepínání apod.). To se netýká pouze situace nouzového odstavení (RD-02,kap. 3.4.3.1, CENTRAL/TOTALSTOP“). POZN.: Splněni tohoto požadavku Dodavatel musí doložit jednak odpovídající kalkulací a scénáøi a dále musí být k ověření dostateèné kapacity a bezpeènosti chladicího systému provedena zkouška, pøi níž jsou všechny instalované výpočetní jednotky maximálně zatíženy nejméně po dobu 24 hodin.
Metoda ověření: R — přezkoumání, T — zkouška (viz RD-02,kap.4.2) e1‘ REQ-024365/A REQ-024366/A REQ-024363/A REQ-024364/A REQ- jednotkami. REQ-02436 REQ-024360/A Vlastnosti RFQ-024359/A obsahují 3.3. beam[jnes a) b) 024362/A Počítače clusteru. Počítače pro bude určených Počítače jiné počítačů přístup. 1/A Liší možné lokální pro Tuto paměti Počítače užitnou lokálním Metoda s Počítače paměti Metoda Metoda typu být procesor Počítače Počítače Metoda Metoda Počítače Metoda Metoda Počítače Metoda Poèet Poèet pro pro se pro platformou velikostí přístup pro minimálně úložiště. provozovat správu èinnost jako správu počítačů počítačů správu každý. každý. ověření: ověření: ověření: ověření: ověření: ověření: ověření: ověření: správu kapacitou pro pro redundantním pro stejného pro pro pro výpočetní budou výpočetních však správu správu požadované x86/64. správu přístup slouží správu přístup 3 pro pro a na a I I I R miliony I I R I umožní — — — — typu — — počítačů především pro - minimálně - správu přístup kterémkoliv jednotky a inspekce musí inspekce inspekce inspekce inspekce inspekce přezkoumání, přezkoumání především musí musí počítače a musí jako Institute úložištěm přístup jednotek provozních počítače operační obsahovat i je je počítače být být pro výpočetní 2. 2. obsahovat každý. urèeny 500 ať pro vybaveny vybaveny z přístup Pbysics pro dat počítačů a I GB. paměti přístup pro pro hodin. — plánování dva pro s inspekce hostování jednotky Životnost redundanci správu. přístup jsou ASCP, (fyzické) minimálně přípravu nejméně nejméně musí a pro nDeh poètem podobné v. úloh. správu každý. být v. musí virtuálních diskù procesory L úloh RAID1 oarn 384 192 Na plně Virtuální jeden procesorù. být Slovance ale s uživateli (MTBF) GB GB kompatibilní výpočetními ei a i vybaveny celkovou (fyzický) stejného operační operační
počítačů I servery serverù WVWS 2, musí Dále HPC 182 I 21 beans Praha 8 Institute ot Pbysics ASCP,v. v. I.,Na Slovance 2, 182 21 Praha 8 beamtines inC(el beams.eu I wwweli bearnseu
REQ-024367/A Počítače pro správu a počítače pro přístup musí být vybaveny minimálně jedním rozhraním počítačové sítě 1GbE, minimálně jedním rozhraním počítačové sítě 1OGbE a minimálně jedním rozhraním počítačové sítě s nízkou latencí lQOGbps (Infiniband) každý. 21 Metoda ověření: I — inspekce REQ-024368/A Adresy rozhraní počítačové sítě 1GbE počítačů pro správu a pro přístup musí být nastaveny pevně (statické). Metoda ověření: I - Inspekce REQ-024369/A Adresy rozhraní počítačové sítě s nízkou latencí musí být nastaveny pevně (statické) pro všechny počítače pro správu a počítače pro přístup. Metoda ověření: I - Inspekce REQ-024370/A Počítače pro správu a počítače pro přístup musí být vybaveny BMC s podporou KVM0IP pro vzdálenou správu počítače, kompatibilní se standardem IPMI2.O. Síťové připojení IPMI může být fyzicky sdíleno s 1GbE. Metoda ověření: FD - funkční ukázka REQ-024371/A Adresy rozhraní počítačové sítě pro přístup k BMC počítačů pro správu a pro přístup musí být nastaveny pevně (statické). Metoda ověření: I - Inspekce REQ-024372/A Počítače pro správu a počítače pro pøistup musí mít záložní napájecí zdroje (PSU) nebo musí využívat spoleèné napájecí zdroje šasi se schopností pøekonat selhání alespoň jednoho zdroje bez ztráty výkonu a plné funkènosti. Metoda ověření: FD - funkční ukázka REQ-024373/A Počítače pro správu a počítače pro přístup musí mít všechny napájecí zdroje (PSU) zapojené do napájecích rozvodù.
Metoda ověření: I — inspekce REQ-024374/A Počítače pro správu a počítače pro přístup musí mít napájení zajištěno sítí C (viz RD-02,kap.3.4.3), tj. nepřerušovaným napájením a musí být zajištěno správné ukončení èinnosti a odstaveni počítačů pøi výpadku dodávky napájení.
Metoda ověření: T — zkouška (RD-02,kap.4.1) e1 REQ-024382/A REQ-024381/A REQ-024380/A REQ-024379/A Provedení, Počítač 3.4. REQ- REQ-024377/A REQ-024376/A REQ-024375/A beamiines 024378/A Počítač operátora typ a operátora zajištěn systému. clusteru zajišťujících počítačů, Metoda Počítač Metoda Metoda Počítač Počítač vyžadováno, Metoda počítače. pro Metoda systém Počítač umístění nebo Selhané Počítače prostřednictvím provozních (PSU,HDD) Metoda Metoda poskytovat chlazením Počítače Metoda infrastruktury zařízeni Počítače slouží přístup plné operátora operátora ověření: ověření: ověření: ověření: ověření: ověření: ověření: ověření: nepřerušovaným operátora operátora shodný pro pro počítače Chlazení pro k redundantní pro k funkènosti. schopným obsluze provozní byly musí stavù, osobu informaci místní správu aby správu (viz správu emailové I I FD FD I T FD s FD plně musí musí operátora — — být — všechny počítačů RD-02,kap.3.8). — v musí operačním datových musí - - spuštění inspekce inspekce inspekce - - správě zkouška roli podmínky. a zajistit funkční funkční funkční funkční a podporovány možné a být být Institute èásti o počítače počítače běžného napájením být zprávy počítače mít selhání bud‘ umistěn souèásti musí navrhne trvalý HPC úložišť, ukázka ukázka (RDO2,kap.4.2) ukázka ukázka a počítačů schopen vyměnit ať systémem přístup vybaven vypnuti pro být a Phvsics pro uživatele clusteru tzv. plný nebo pro přímo danou ze počítačů zajištěno Dodavatel. prostøedkù pøistup přístup Syslog za sítě výkon poskytnout k pro vlastni ASCR, přístup a BMC riziku v výpočetních chodu distribuci ale C serverové ‚ťo‘eI, a neoprávněném správu musí (RD-02,kap.3.4.3). pro v. zprávy. dle bez nebo všech i baterií všech v. sítě, osobu selhání, musí bez I, požadavků správu zkrácení využívat :eam;ei Na jejich přístup nebo UPS a jeho místnosti. ztráty nebo Slovance instalovaných v být jednotek. pro roli a a překročení výrobcem šasi životnosti součástí. opatøeny musí systémù operační počítačů přístupu
do I správce výkonu Kritické přístup viwei 2 musí HPC 82 být Je 7! bearnseu Praha 8 Institute ať Physics ASCR,v. V. Na Slovance 2, 182 21Praha 8 beam[ines
jnťoaIj beams.eu I 3.5. Centrální úložiště dat
Centrální úložiště dat slouží k uložení všech částí úloh uživatelů HPC clusteru, vstupních a výstupních dat úloh a počítačových programù pro jejich zpracování a přípravu. Do pojmu Centralni uložiště dat jsou zahrnuta nejen samotna uložna media a jejich 23 I radice, ale i vsechny pripadne dalsi prvky slouzici k publikaci sdilenych fllesystemu s vysokou dostupností.
REQ-024383/A Všechny výpočetní jednotky, počítače pro správu a počítače pro přístup budou využívat Centrální datové úložiště pøipojené prostřednictvím sítě s nízkou latencí (Inøiniband) a to prostřednictvím sdílených filesystémù. Metoda ověření: FD - funkční ukázka REQ-024384/A Použitý typ sdílených fllesystémù musí být odolný proti selhání a s podporou masivního paralelního přístupu. Metoda ověření: R - přezkoumání REQ-024385/A Centrální úložiště musí poskytovat sdílené fllesystémy všem připojeným počítačům. Dodavatel musí vytvoøit samostatné sdílené fllesystémy podle tabulky 3. Metoda ověření: FD - funkční ukázka
Název filesystému Velikost v % celkove (připojený jako kapacity centrálního Použití adresáø) úložiště dat ../scratch 89 pracovní adresáø úloh ../home 9 domácí adresáø uživatelů ../apps 0.5 adresáø poè. programù řízen LMOD ../image 0.5 Režie <1 (nebude-li využito, ostatni rezijni .. Rezie vyuzije se pro ../scratch) - -- Tabulka 3: Tabulka filesystémù centrálního úložiště dat
REQ-024386/A Centrální úložiště musí mít celkovou sdílenou užitnou kaDacitu blokových zařízení minimálně iPB. POZN.: Ověření se provede souètem velikosti všech unikátních blokových zařízení viditelných operačním systémem na kterémkoliv přímo pøipojeném klientském systému.
Metoda ověření: I — inspekce
ci4
REQ-024394/A
REQ-024395/A
REQ-024393/A REQ-024392/A
REQ-024391/A
REQ-
REQ-024389/A
REQ-024388/A
REQ-024387/A
beamtines
024390/A
‘imn
datověho
Centrální
Metoda dostupnosti dostupnosti
Metoda zdroje
napájecích Centrální Centrální
Metoda
pøekonat v
Èásti
Metoda Metoda
úložiště filesystému/ù.
pøekonat
Èásti dostupnosti
Metoda
bodu
poskytovatele
musí Dostupnost
Metoda centrálního
Spolehlivost
Metoda
uložených
být
Poskytovaná
16
s
Metoda
../scratch
Centrální
každém
datovou
zajištěna
datových
centrálního
centrálního
být
musí
napájení
ověření:
ověření:
ověřeni:
ověření: ověření:
ověření:
ověřeni:
ověření:
dat.
ověření:
ztrátu/selhání
propojení úložiště
úložiště
úložiště
úložiště
5GB/s
dat.
sdíleném
rozvodù.
ztrátu/selhání
redundantní,
úložiště
prostupností
centrálního
filesystémù
sdílených
ztraceného
být
kapacita
technologií
(MTBF)
medii
filesystému
(PSU).
I
FD
FD
FD
FD FD
I
R T
a
možné dat
— dat
—
musí
dat
úložiště úložiště —
-
pro
mezi dat — —
— — inspekce
—
inspekce
přezkoumání
fllesystému
zkouška
Funkční
Funkční
Funkční Funkční Funkční
musí
všech
musí
užitného
nebo
filesystémù
musí
filesystém
Tyto
Iiaritute
úložiště
musí
centrálního
jednoho
být
poskytovatele
èástmi
RAIDB
(rychlostí
tj.
bez
jakéhokoliv
dat
dat
poskytovat
být
nebo
odolné
mít
řešením
musí
být
použitých
(viz
odolná
ukázka
ukázka
ukázka
ukázka
ukázka
of
přerušení
prostoru
odolné
dat.
centrálního
16+2,
musí
musí
bez
všechny
øadièe
minimálně
Př‘ysics
kap.5.3)
jeho
../home
být
(z
úložiště
minimálně čtení/zápisu
omezení
proti
být
pohledu
být zajišťujícím
možné
tj.
proti
sdílené
filesystému
datových
datových
přípojného
centrálního
ASCR
jednoho
2
zdroje
dostupnosti
1GB/s.
redundantní, redundantní,
dat.
úložiště
paritní
ztrátě
2
n+:(e
selhání
miliony
vyměnit
v.
funkènosti
filesystémy
proti
klientských
v.
dat)
(PSU)
medií
i.,
a
media
datového
eams
větší
alespoň
dat.
Na
úložiště
nebo
alespoň
bodu.
selhání
paritních
hodin.
pro
SI9varce
bez
již
bez
zapojené
tj.
tj.
oj
centrálního
na
bezpeènost
přípojného
minimálně
filesystém
přerušení sdíleného
Obnovení
počítačů)
dat
omezeni
jednoho
jednoho schopné schopné
jednoho
každých
ww:
media
2,
medií
musí
182
do
e!
21
Praha
oj 8 Institute of Physics ASCP,v. v. Na Slovance 2, 182 21Praha S beamtines
earnssu I vwei bE3rnsBu
REQ-024396/A Centrální úložiště dat jako celek musí mít napájeni ze sítě C (RD-02,kap.3.4.3), tj. zajištěno nepřerušovaným napájením s ukončením èinnosti a odstavení počítačů, øadièù a medii pøi výpadku dodávky napájení bez škod na integritě uložených dat dle RD-02,kap.3.4.3.2.1. 25 Metoda ověření: T-zkouška (RD-02,kap.4.1) I REQ-024397/A Centrální úložiště dat musí být odolné proti přetížení. Nepřipouští se selhání dostupnosti z dùvodu přetíženi. Připouští se pouze odpovídající snížení výkonu. POZN.: Ověření se bude provádět v rámci zkoušky datové propustnosti centrálního úložiště dat, pøi které se nesmí objevit žádná chyba (viz kap.5.3).
Metoda ověření: T — zkouška REQ-024398/A Adresy všech rozhraní počítačových sítí centrálního úložiště dat musí být nastaveny pevně (statické). Metoda ověření: I - inspekce REQ-024399/A
Pokud součástí řešení centrálního úložiště dat budou i samostatné počítače, požaduje se, aby byly tyto vybaveny BMC s podporou KVM0IP pro správu počítače kompatibilním se standardem IPMI2.O. a pøipojené do odpovídající VLANsítě 1GbE. Metoda ověření: FD - funkční ukázka REQ-024400/A
Pokud součástí řešení centrálního úložiště dat budou i samostatné počítače a není to v rozporu s technickými požadavky, požaduje se použití stejného operačního systému jako na počítačích pro správu.
Metoda ověření: I — inspekce 36. Úložiště dat NAS
Úložiště dat NAS slouží pro úèely správy HPC clusteru. Budou zde umístěny virtuální disky virtuálních serverù a perzistentní data aplikací spuštěných na virtuálních serverech. NAS bude dále sloužit jako zálohovací prostøedek vybraných fllesystémù centrálního úložiště dal (viz tabulka 3, ../apps, a částečně ../home ) a naopak centrální úložiště bude sloužit pro zálohování NAS (viz tabulka 3, položka ‘ostatní režijní‘). K tomu je nutné zajistit vysokorychlostní 1OGbE připojení na počítače pro správu a pro přístup. Úložiště dat NAS bude také pøipojené do sítě 1GbE pro potøeby nouzových postupù. Institute af Physics ASCP, v. v. L Na Slovance 2, 182 21 Praha 8 beamtines infoli beams.ei beamseu
REQ-02440 1/A Počítače pro správu a počítače pro pøistup hudou využívat úložiště dat NAS pøipojené prostřednictvím sítě 1DGbE, a to prostřednictvím protokolu NFS minimálně verze 3. Metoda ověření: FD - funkční ukázka REQ-024402/A Ostatní počítače HPC clusteru musí mít přístupné úložiště dat NAS prostřednictvím sítě 1GbE, a to prostřednictvím protokolu NFS, FTP a CIFS. Metoda ověření: FD - funkční ukázka REQ-024403/A Celková užitná bloková kapacita úložiště dat musí být minimálně 64 TB s použitím redundance minimálně RAIDS nebo lepší, èi jejich obdoby.
Metoda ověření: I — inspekce REQ-024404/A Úložiště dat NAS musí mít minimálně 1 pozici pro datová média neobsazenou.
Metoda ověření: I — inspekce REQ-024405/A Úložiště dat NAS musí mít alespoň 8GB operační paměti.
Metoda ověření: I — inspekce REQ-024406/A Úložiště dat NAS musí být vybaveno minimálně 2 přípojnými rozhraními do počítačové sítě 10GbE.
Metoda ověření: J — inspekce REQ-024407/A Úložiště dat NAS musí být vybaveno minimálně 1 přípojným rozhraním do počítačové sítě 1GbE.
Metoda ověřeni: I — inspekce REQ-024408/A Adresy všech rozhraní počítačových sítí úložiště dat NAS musí být nastaveny pevně (statické).
Metoda ověření: I — inspekce REQ-024409/A Úložiště dat NAS musí mít všechna přípojná rozhraní počítačových sítí pøipojena do rozvaděčů počítačových síti.
Metoda ověření: I — inspekce REQ-0244 10/A Úložiště dat NAS musí mít všechny napájecí zdroje (PSU) zapojené do napájecích rozvodù sítě C (RD-02,kap.3.4.3).
Metoda ověření: I — inspekce
Strana: 26/40 TC# 00172578/C * Oevelapmentand Education MINIfl2OJCA1ON FZU T1 Ano Institute of Physics ASCR,v. V. I Na Slovance 2, 182 21Praha 8 I beamLines
nfo(aIi ueamz.eu I wvw.ek beams.eu
REQ-0244 li/A Úložiště dat NAS musí být vybaveno redundantními zdroji napájení (PSU). Každý jednotlivý zdroj napájení úložiště dat NAS musí být
vyměnitelný, odpojitelný i připojitelný za provozu bez omezení funkènosti úložiště dat NAS. Metoda ověření: FD - funkční ukázka REQ-0244l2/A Úložiště dat NAS musí mít napájení zajištěno ze sítě C (RD-02,kap.3.4.3), tj. nepřerušovaným napájením s ukončením èinnosti pøi výpadku dodávky napájení bez ztráty dat a škod na integritě uložených dat.
Metoda ověření: T — zkouška (RD-02,kap.4.1) 3.7. Počítačové sítě
Počítačové sítě propojují všechna počítačová zařízení, úložiště, UPS a chlazení serverové místnosti. REQ-0244 13/A Dodavatel dodá, nainstaluje, zapojí a nastaví všechny èásti počítačových sítí včetně kabelových propojù.
Metoda ověření: I — inspekce REQ-0244 14/A Dodavatel zapojí a nastaví připojení HPC clusteru do počítačové site Zadavatele optickým spojem lQGbps SFP+ vyvedeným do jiz existujícího přípojného bodu v místnosti 2.12 budovy è.p. 836 dle přílohy RD-02, kap 3.5.1.
Metoda ověření: J — inspekce, FD - funkční ukázka REQ-024415/A Žádná èást počítačových sítí nesmí být vybavena technickým zařízením flrewall nebo tato funkce nesmí být aktivní v dodaných přepínačích a směrovačích síti. Metoda ověření: I inspekce REQ-0244 16/A Technická zařízení počítačových sítí musí mít jednotlivá přípojná místa nezávislá, tj. pří poruše jednoho z nich nebo kabelu, nedojde k selhání celého zařízení nebo ovlivnění èinnosti ostatních přípojných míst nebo selhání sítě. Metoda ověření: FD - funkční ukázka REQ-0244 17/A Instalace počítačových sítí včetně použitých zařízení musí být odolná proti zkratu na datovém spoji, odolná proti indukovanému přepětí na připojených kabelech a musí být odolná proti elektromagnetickému rušení. Metoda ověření: R - přezkoumání
r * * * 1 EUROPEANUNION Strana: 27 / 40 • EuropeanStructuralatid InveetingFunus TC# 00172578/C ‚ * QporaucnaiPrograanRasarch. * FZU * * Develcpmenland Education MIM R1Ï Institute ot Physcs ASCR,v. v. I.,Na Slovance 2, 182 21Praha B beamtines Si noeli Óeamseu I wvn; bEarnleu
REQ-0244 18/A Všechna zařízeni použitá k vybudování počítačové sítě musi být odolná proti přetížení. Přetížení jedné větve sítě nesmí ovlivňovat výkon ostatních větví.
Metoda ověření: T — zkouška dle kap.5.3 REQ-0244 19/A Kabelové spoje jednotlivých druhù počítačových sítí musí být barevně odlišeny.
Metoda ověření: I — inspekce REQ-024420/A Kabelové spoje počítačových sítí musí být popsány.
Metoda ověření: I — inspekce REQ-024421/A Kabelové přípoje v síťových zařízeních musí být dokumentovány (jejich použití, který kabel do nich patří a jak jsou nastaveny a oznaèeny). Metoda ověření: R - přezkoumání REQ-024422/A Použité kabely musí mít přiměřenou délku a použitý typ kabelù a konektorù musí odpovídat technickým požadavkům na daný typ počítačové sítě a pøipojeného zařízení.
Metoda ověření: I — inspekce REQ-024423/A Síťová zařízeni musí být vybavena redundantními zdroji napájení (PSU). Síťová zařízeni musí být schopná pøekonat selhání alespoň jednoho zdroje napájení (PSU) bez omezení funkènosti. Každý jednotlivý napájecí zdroj (PSU) síťových zařízeni musí být
vyměnitelný, odpojitelný i připojitelný za provozu bez omezení funkènosti síťového zařízeni. Metoda ověření: FD - funkční ukázka REQ-024424/A Síťová zařízení musí mít všechny své napájecí zdroje (PSU) zapojené do napájecích rozvodù sítě C (RD-02,kap.3.4.3).
Metoda ověření: I — inspekce REQ-024425/A V případě výpadku dodávky napájení musí být zachováno síťové připojení mezi počítači pro správu, počítači pro přístup, úložištěm dat NAS, centrálním úložištěm dat a UPS tak, aby bylo možné zajistit bezpeèné ukončení všech zařízení. Potøebná síťová zařízení musí mít z tohoto dùvodu napájení zajištěná ze sítě C (RD-02,kap.3.43) nepřerušovaným napájením.
Metoda ověření: T — zkouška (RD-02,kap.4.1) REQ-D24426/A Síťová zařízení (jako jsou směrovače èi přepínače) musí poskytovat informace o svém provozním stavu a poruchách protokolem SNMP. Metoda ověření: R - přezkoumání
(s‘) •*• EUROPEANUNION Strana 28 / 40 EuropeanSucturaI and investingFunds TC# 00172578/C ** OperauonalprcgrnmmaReseérch, FZU * * Ocve(opmentand Educauon d REQ-024430/A REQ-024432/A souèinnost. síť REQ-024431/A REQ-024429/A REQ-024428/A prostor Požadavky Zadavatele. pokud Počítačová 3.7.1. REQ-024427/A beamtines všech obsahují Počítačová a nastavení instalovaných síť na 1GbE konfiguraci přípojné jednotek této Sítě a Metoda rozvaděči připojení Rozvaděče Metoda (tj. Počítačová Metoda musí existující Metoda Pro mezi Počítačová Metoda vybaveny V například Musí Počítačová Metoda rozšiřující a výpočetních (napø. všemi případě, síť prvkù, směrování, je integrovaná přístup sítě. musí všemi být mít 1GbE metalická stojanù) ověření: ověření: ověření: ověření: ověření: ověření: zařízení dalšími místo nastavenou zařízení využita nebo nebo počítačové zařízení øadièi být minimálně včetně rezervní síť síť síť k že a instalovanými fllesystémùm jednotek přepínače budovány 1GbE 1GbE konstrukční 1GbE počítačové síťovém poskytne prostorem rozhraními do chladicích I síť I R R FD HPC FD musí pro počítačové — — sítě. jejich - - prostředí kapacitou typu je - - inspekce inspekce přezkoumání, pøezkoumáni, bude musí sítě, urèenou funkční funkční komunikaci clusteru dalších hlavní Institute být bez přepínači. sítě s zástupce Ethernet napájeni být počítači sítě. použita zejména pro podporou řešení úložišť pro jednotek, rozvaděče ELl) sítě instalace 1GbE infrastrukturní ukázka ukázka VLÁN. pro dostupná of a instalaci 2 správu Síť Physics podpůrných vybavena vè. HPC se zařízení dat jako sloužící I a I připojení Zadavatele bude musí - — — nastavení úložišti VLAN. všemi zajištění v inspekce inspekce UPS, bude zařízení. clusteru dalších a základní potřebných z ASCP, takovém propojena být počítačové jako přepínače v přípojnými záložní Celá :noieIi BMC èástmi dat rozšiřujících sítí vybaveny zařízení směrováni v. každém VLÁN, v základní umožni konstrukčních (tzv. v. (tzv. komunikační rámci počítačová rozhraním L případě sítí. D09meU infrastruktury, Na do síťových síť síť potřebných sítě použitý infrastruktury, Slovance místy požadavků infrastruktury instalovaném rozšířit rezervou pro komunikační pro výpočetních paketù Zadavatele musí síť přístup). správu). počítačů pro zařízeni adresní nástroj wwweri 2, prvkù poèet 1GbE z/do tyto 182 pro být sítí na tj. 21 beamseu Praha 8 Institute ot Physics ASCP, v. v. i.,Na Slovance 2, 182 21 Praha 8 beamLines ojí noe beams oi I www bearnsou REQ-024433/A Počítačová síť 1GbE musí odpovídat standardu lEEE 802.3, verze l000Base-T (nebo TX) s podporou virtuální sítě (VLAN) dle IEEE8O2. iQ, Metoda ověření: R - přezkoumání
3.7.2. Počítačová síť 1OGbE Počítačová síť 1OGbE je samostatná uzavøená metalická síť typu Ethernet sloužící pro sdíleni úložiště dat NAS. Požadavky na konfiguraci počítačové sítě, zejména nastavení VLAN a použitý adresní prostor poskytne zástupce Zadavatele v rámci požadavků na souèinnost. REQ-024434/A Počítačová síť 1OGbE je datovou infrastrukturní sítí (tzv. sítí pro sdíleni úložiště dat NAS). Tato síť musí být využita pro přístup počítačů pro správu a počítačů pro přístup k úložišti dat NAS. Pokud to technické řešení centrálního úložiště dat umožňuje, bude centrální úložiště dat pøipojeno do této sítě také z místa, které poskytuje sdílené filesystémy.
Metoda ověření: I — inspekce REQ-024435/A Počítačová síť 1OGbE musí odpovídat standardu lEEE 802.3, verze iOGBase-T s podporou virtuální sítě (VLAN) dle IEEE8O2.1Q a agregace sítě lEEE 802.3ad. Metoda ověření: R - přezkoumání REQ-024436/A Pokud pøipojená zařízení obsahují více než jedno přípojné místo sítě 1QGbE, budou použita všechna s využitím agregace sítě dle IEEESO2.3ad. V takovém případě budou síťové přepínače nastaveny s respektem k použití agregace sítě. Metoda ověření: I - inspekce REQ-024437/A Rozvaděče a přepínače sítě 1DGbE musí být vybaveny rezervou pro připojení minimálně dalších 2 zařízení v každém instalovaném rozvaděči nebo síťovém přepínači.
Metoda ověření: I — inspekce Institute oť Physlcs ASCP,v, v. I.,Na Slovance 2, 182 21Praha 8 beamLines !no(el beam.ei I www.ei beamseu
3.7.3. Počítačová síť lOOGbps Počítačová síť lOOGbps (nebo také Infiniband) je hlavním vzájemným komunikačním nástrojem počítačových programù spuštěných na výpočetních jednotkách. Tento úèel vyžaduje dosaženi velmi nízké latence sítě a masivni paralelní provoz mezi mnoha výpočetními jednotkami současně. Vzhledem k znaènému objemu zpracovávaných dat výpočetními jednotkami a jejich ukládání do sdílených filesystémù centrálního úložiště dat je využita počítačová síť lOOGbps také k přístupu výpočetních jednotek, počítačů pro správu a počítačů pro přístup k centrálnímu úložišti dat. REQ-024438/A Počítačová síť lOOGbps musí mít velmi nízkou latenci, jejíž hodnota musí být nižší než ltJs (mikrosekunda).
Metoda ověření: T — zkouška dle kap.5.2 REQ-024439/A Připojení centrálního úložiště dat do počítačové sítě lOOGbps musí být redundantní.
Metoda ověření: I — inspekce REQ-024440/A Počítačová síť lOOGbps musí odpovídat minimálně standardu EDR dle IBTA. Metoda ověřeni: R - přezkoumání REQ-024441/A Organizační struktura počítačové sítě lOOGbps musí být non-blocking fat-tree.
Metoda ověření: R — přezkoumání REQ-024442/A Použité provedení počítačové sítě lOOGbps (Inflnband) musí plně podporovat počítačové programy OpenMPI a MVAPICH2 a to včetně schopnosti MPI_THREAD_MULTIPLE.
Metoda ověření: R — přezkoumání REQ-024443/A Přepínače počítačové sítě lOOGbps musí být vybaveny redundantním napájením schopným pøekonat selhání jednoho zdroje bez omezení funkènosti. Metoda ověření: FD - funkční ukázka REQ-024444/A Všechny èásti počítačové sítě lOOGbps musí být stejné a zaměnitelné.
Metoda ověření: I — inspekce
:Ý1 !E:r
c{.
REQ-024448/A
REQ-024447/A REQ-024446/A
REQ-024445/A jednotek
pøi
3.8. Kritická
beamLines
b)
a)
výpadku
1Jflfl)
Kritická
D
D
D D
D
D D
Èást D
D D
(požadavky
Èást
infrastruktura
není
Centrální
procesù Počítačové
Počítače definovaní
Uložiště definovaní dohledové
chlazení
bezpeènost
napájení,
díla
díla
napájení
požadována
„Výpočetní
Adresy
infrastruktury
Metoda infrastruktury
technologií Zpùsob
Metoda požadavek zpùsobem
infrastruktury infrastruktury
Po
Metoda Metoda
k
Musí
infrastruktura
ukončení
dat
pøi
viz
pro Serverová
úložiště
UPS
obnovení
systémy
nouzových nouzových
sítě
výpadku
práce
RD-02):
NAS
je
být správu
serverové
ověření:
ověřeni:
ověření: ověření:
obnovení
definována
zajišťující
všech
s
a
HPC
neplatí
dat
zabezpeèeno
a
výjimkou
a
to
èinnosti
protipožární
a
musí a
nesmí
napájeni
zajistí,
napájení
(vyjma
automatizovaně
zařízení“
počítače
místnost
postupù postupù
další
FD
FD I
FD rozhraní
—
chlazení
místnosti,
pro
být ukládání - -
-
inspekce
z
èásti
aktivovat
funkční funkční
funkční
mikrovýpadků.
UPS.
aby
Kritické dùvodu
nastaveny
lnstitLe
UPS
pro pro
pro
zahrnuje:
serverové
opatření
nepřerušované
pro
I-WC
provede
Další
nebylo
obnoveni
odstavení
přístup
dat
samotné)
počítačových
ukázka ukázka
ukázka
přičemž
Ý
clusteru
zajištění
(spustit)
a
HPC
infrastruktury
a
Pl-ysics
požadavky
ve
pevně
zajišťující
možně
stanoveném
místnosti
Dodavatel
výpočetní
funkènosti
ochrana
bez
po
integrity
ASER,
(statické).
bez
napájení
dobu
potøebného spustit
n:eli
viz
sítí
automatizaci
lidského
v.
se
ve
RD-02,kap.3.4.3.2.1
èinnosti
v.
běžným
pořadí.
dat
zařízení“
nutnou
i., zařízení
bearns
shodě souèásti
Na
zařízení
v
(UPS)
zásahu.
Slovance
chlazení. úložištích výpočetních
ei
nouzových
provozním
s
minimálně
zahrnuje
použitou
I
Kritické Kritické
Kritické Kritické
w:vw
Tento
2.
1B2 dat
Bi
21
baams.au
Praha
8
i 32 Institute ot Physicc ASCR,v.v. L,Na Slovance 2, 182 21 Praha 8
beamUnes wvweII nfo«9e1ibeams eu I beamseu 3.9. Počítačové programy
Informace potøebné k instalaci a nastavení počítačových programù poskytne Zadavatel. Součástí díla a ceny díla jsou platná osvědčení o poskytnutí práva užití počítačových programù (tzv. licence) ve prospěch Zadavatele mimo případ, kdy to není správcem autorských práv vyžadováno. Licence budou platné minimálně po dobu záruční lhùty a Dodavatel je pøedá jako souèást dokumentace díla.
Dodavatel zajistí, nastaví a nainstaluje následující èásti díla - počítačové programy: REQ-o2444g/A Centrální úložiště dat musí mít nainstalovány potøebné počítačové programy nutné pro provoz, správu, dohled a sdíleni filesystémùm a tyto musí být nastaveny a funkční. Metoda ověření: FD - funkční ukázka REQ-024450/A
- Počítače pro správu a počítače pro přístup musí mít nainstalované a funkční potøebné počítačové programy a to včetně prostøedkù pro
‘ přístup ke sdíleným fllesystémùm centrálního úložiště dat. Dále pak musí být nainstalováno, nastaveno a funkční virtualizační prostředí QEMU/KVM. POZN: Obrazy diskù virtuálních serverù budou vytvoøeny vždy ve formátu qcow2. Metoda ověření: FD - funkční ukázka REQ-02445 1/A Všude, kde je možné nastavení počítačových programù z více hledisek, musí být použita taková nastavení počítačových programù, která 2ajišťují následující vlastnosti v uvedeném pořadí: a) vysoká dostupnost (HA) b) vysoká spolehlivost, především zajištění integrity dat na úložištích c) vysoká výkonnost Metoda ověřeni: I - inspekce REQ-024452/A Dodavatel musí vytvoøit virtuální server XCAT (z dùvodu kompatibility s již existujícím HPC clusterem) pro podporu výpočetních jednotek a musí jej nastavit tak, aby poskytoval výpočetním jednotkám: a) Zaveditelný operační systém b) Přidělení adres počítačových sítí c) Jmenné služby (pro všechny souèásti HPC clusteru) d) Informace o èase (pro všechny souèásti HPC clusteru) Metoda ověření: FD - funkční ukázka
LŤEz,1a r: MIN,q‘)9LCA, ON ď REQ- REQ-024455/A REQ-024454/A REQ-024453/A beamtines a) 024456/A a Není požádat případných jednotlivých požadována vèas Zadavateli aktivaci Metoda programy Pokud Zadavateli Metoda Zadavatele, Dodavatelem Pokud Metoda jednotek Pokud Metoda virtuální především systému Dodavatel f) e) d) c) a) b) Zadavatele virtuálních testù instalované instalované instalované XCAT. v filesystémù počítačové počítačových s počítačové s počítačové počítačové počítačové nejnovější 1GbE. ověření: ověřeni: ověřeni: ověření: instalace vlastnostmi nízkou licenčním a server vè. tak, počítačové jako nebo dle 0: musí všech Dodavatel jejich kompilovány, kap.5. o aby souèást latencí. zajistí R R FD R vytvoøit serverù) provedení. XCAT, a potřebných distribuci — — počítačové — z programy programy počítačové počítačové programy nastavení programy zdrojového klíčem, - sítí výpočetní pøezkoumáni programy pøezkoumáni centrálního přezkoumání výpočetních funkční Dodavatel Zadavateli Institute síti dokumentace. a poskytne který zaveditelný užití operačního potřebných Dodavatel 1GbE ukázka dalších počítačových Dodavatel programy pro pro jmenných zajišťující zajišťující programy of programy bude kódu. jednotky úložiště je Physics jednotek. zajišťující přístup instalace identifikaci synchronizaci může (především počítačových použit obraz systému poskytne nebudou ASCP, dat. služeb). vyžadují k budou poskytne funkènost funkènost byly provést pro nim. programù noTeli operačního počítačových k dostupnost v. výpočetních provozuschopné. zavedení provedeni v. CentOS pøed volně èasu tyto přidělování Í, ke pøed programù :aamei Na tyto počítačové počítačové své do jejich Slovance licenční dostupné se jejich systému kompatibilní výpočetních újmě operačního počítačové programù serverem sdílených jednotek instalaci
zkoušek I (včetně W‘jWBi užitím 2,18221 adres nebo klíče sítě sítě pro Jde pro beamc.eu Praha 8 d 3.10. REQ-024457/A beamtines Celková výpočetních Metoda příloha Krycím Celková spotøeba smlouvy ověření: listu spotøeba jednotek vítězné elektrické KV-01 T — elektrické zkouška nabídky hodnota Institute nesmí energie dle af Dodavatele oznaèená energie pøesáhnout postupu Physicc ASCP, pøi v písmenem kap.5.5. z noeli hodnotu výběrového 100% v. v. I., beams Na E. vytížení Slovance uvedenou eu řízeni I ww.e‘i 2, všech 182 viz. na 21 beams Praha 8 Ir,stítute ať Physics ASCP, v, v. i,‘Na Slovance 2, 182 21 Praha 8 beam(jnes iý:‘el‘ eam CJ I ;W CI 4. Požadavky na bezpeènost zařízení REQ-024458/A Dodavatel musí poskytnout prohlášení o shodě pro každý typ výrobku, stanovuji-Ii příslušné právní pøedpisy povinnost Dodavateli prohlášením o shodě pro úèely prodeje zařízení na èeském trhu disponovat. Toto prohlášení musí být v takovém případě v souladu se zákonem è. 22/1997 Sb., ve znění pozdějších pøedpisù (napø. zákon è. 91/2016 Sb.) vè. nařízení vlády ÈR.
Metoda ověření: I — inspekce
EUROPEANUNION () [ Strana: 36 40 EuropeanStructura!andInvestInFunds / Í : t TC# 00172578/C * Operauonal Prcgramwe Rosert • I FZU * ‚W DewlopmeMandEducallon MINIjÓN ‘ hstitute of Physicc ASCP, v. v, L Na Slovance 2, 182 21 Praha 8 beamlines
infoaIi beamsei I wwwei baarn9eu
5. Ověřování určených parametrù HPC clusteru 5.1. Ověření dosaženého výkonu výpočetních jednotek zkouškou Zkouška je akceptačním kritériem dodávky díla.
Zkouška ověří zda zhotovený HPC cluster a především jeho výpočetní jednotky poskytují výpočetní výkon uvedený ve vítězné nabídce Dodavatele.
Zkouška se skládá z jednoho testu. Zkouška je úspěšná, pokud jsou všechny testy úspěšné. 5.1.1. Test výkonu výpočetních jednotek a) Test výkonu výpočetní jednotky musí být proveden metodikou SPEC CPU2O17 (version 1.0.2 nebo novější). b) Sledovaným ukazatelem je hodnota SPECrate2Ql7_fp_base pro výpočetní jednotku. c) Počítačový program pro vyhodnocení zajistí Zadavatel (CPU2O17, https://www.sDec.org/order.html). d) Testy musí proběhnout na 4 výpočetních jednotkách vybraných Zadavatelem. Hodnota každého testu je dále oznaèena jako Perf(ÈSIO), kde ‘číslo‘ je 1 až 4. e) Poèet všech instalovaných výpočetních jednotek v HPC clusteru budiž oznaèen SocN (Sum of Computing Nodes). fl Výsledky testù Perf(1až4) se nesmí vzájemně lišit o více než 2%. g) Výsledná hodnota výkonu celého HPC clusteru Perf001 se vypoète extrapolací:
Perftotaj = ( Perf1 + Perf2 + Perf3 + Perf4) J 4 * SocN h) Test je úspěšný, pokud Perftota, je vyšší nebo shodná s hodnotu vypoètenou z hodnot uvedených v Krycím listu vítězné nabídky Dodavatele, která je přílohou KV-O1 této smlouvy. V této příloze je uvedena hodnota parametru SPECrate2Ol7_fp_base jedné výpočetní jednotky oznaèená písmenem S a poèet identických výpočetních jednotek označený písmenem N. Test je úspěšný pokud: Perftojaj S N 5.2. Ověření výkonnosti parametrù sítě s nízkou latencí lOOGbps (Infiniband) zkouškou Zkouška je akceptačním kritériem dodávky díla.
Testy sítě s nízkou latencí musí být provedeny nástrojem OSU Micro-Benchmarks (BSD licence). OSU Micro-Benchmarks musí být kompilován na prostředí urèeném k běžnému užití za použití MVAPICH2nebo OpenMPI.
Zkouška se skládá ze dvou testù. Zkouška je úspěšná, pokud jsou všechny testy úspěšné.
ď
jednotkám
Zkouška
Zkouška
Zkouška
Zkouška
5.3.
5.2.2.
5.2.1.
beamLines
c)
a)
b)
d)
c)
a)
b) d)
c)
a)
b)
Ověření
Testy
úložiště kde 2,
úložiště
centrálního
poètu Každý Zkouška
jednotky Test
mpirun
Výpočet
s
jednotek
Test
Vyhodnocovanou
Test
jednotky
Test jednotek
/ Pro Test Test nižší Vyhodnocovanou /‘Cshared Pro ( je se 4, tolerancí ověří, je poskytuje filel úspěšná provedeni skládá provedení je 6, než akceptačním - musí je - musí výpočetních test musí -n mpirun -n ověřeni ověření 10 úspěšný dat. dat je central central zda příkaz: avšak 2 úspěšný příkaz: 1 avšak 2 musí a výkonnosti současně. musí proveden —-hosttiie mikrosekunda —-hcstfile úložiště být z být file2 5% ../scratch být pokud zjištěná 8 -n -t centrální minimálně testù. testu testu tak, proběhnout tak, proveden propustnosti storage proveden numher storage 2 latence být pokud lOOGbps provedeny musí hodnotou hodnotou —Hce jednotek: pokud dat. agregované kritériem aby proveden aby takto: filenane filename musí musí a hodnota —s2Og of směrovat fi1esystem>/ filesystem>/ úložiště byly ../home byly centrálního požadovanou hosts (ts) mezi mezi nejvyšší pro je je být být sadou -r256k samostatně z z vlastnost \ vlastnost příkazem \ ve dodávky co co —-hostfile všechny spuštěn výsledky spuštěn „Bandwidth“> 4 4 Latency dat na na všech istitute největšího největšího dvojicemi dvojicemi -iO 8 zjištěná následujícím stanovený a testù, —ji rychlost „Bandwidth“ jeho „Latency“ provedených ozone of je 4 díla. úložiště dle dle testù fjloname pro —F Ptysics provedené pro poètu poètu dokumentace zpùsob dokumentace 4 fusi náhodně náhodně hodnota sdílené spuštěným splňují čtení zprávy sdílený pro * poètu (tas). ASEk \ 8 šasi. šasi. fuie2 dat (MB/s) každý J a měřeních. zpřístupnění naeli minimální filesystémy ukládání 2 do vybraných měření vybraných Bandwidth“ v. výpočetních filesystém ) zkouškou v. velikosti současně ‚ pro pro sdílený I.. 1024 bsam Na nebo dat. dvě dvě SI:vance požadavky. výpočetních výpočetních výpočetním centrálního centrálního ei 2048 filesystém na jednotek: 95Gbps výpočetní výpočetní je odpovídá I daném vyšší. 2, bytes :;W9 1B2 21 bEaT:: Pra‘ra SU B d Zkouška Zkouška Zkouška 5.5. 5.4.1. Zkouška Zkouška nebo 5.5.1. Zkouška Zkouška 5.4. kvalitu beamtines c) b) e) d) a) b) a) fl e) d) životnost Ověření Ověření Test jejich jednotky Test jednotkách Test Test Test Test a Aplikace / inoaibeamsej I www.ei bearn:eu U. UPS je po dobu testu plně nabita iii. Chladící jednotky jsou v běžném operačním m6du iv. Další zařízení jako síťové přepínače, centrální úložiště dat, úložiště dat NAS, počítače pro správu a počítače pro přístup a počítač operátora budou v běžném operačním provozu bez zvláštního vytížení c) Test je úspěšný, pokud je spotøebovaná energie za hodinu v kWh nižší nebo shodná s hodnotu příkonu v kW uvedenou v Krycím listu vítězné nabídky Dodavatele, který je přílohou KV-al této smlouvy, pod označením písmenem E. KONEC DOKUMENTURD-Ql