PROXMOX VE MIT CEPH & ZFS ZUKUNFTSSICHERE INFRASTRUKTUR IM RECHENZENTRUM Alwin Antreich Proxmox Server Solutions GmbH FrOSCon 14 | 10. August 2019 Alwin Antreich Software Entwickler @ Proxmox 15 Jahre in der IT als Willkommen! System / Netzwerk Administrator FrOSCon 14 | 10.08.2019 2/33 Proxmox Server Solutions GmbH Aktive Community Proxmox seit 2005 Globales Partnernetz in Wien (AT) Proxmox Mail Gateway Enterprise (AGPL,v3) Proxmox VE (AGPL,v3) Support & Services FrOSCon 14 | 10.08.2019 3/33 Traditionelle Infrastruktur FrOSCon 14 | 10.08.2019 4/33 Hyperkonvergenz FrOSCon 14 | 10.08.2019 5/33 Hyperkonvergente Infrastruktur FrOSCon 14 | 10.08.2019 6/33 Voraussetzung für Hyperkonvergenz CPU / RAM / Netzwerk / Storage Verwende immer genug von allem. FrOSCon 14 | 10.08.2019 7/33 FrOSCon 14 | 10.08.2019 8/33 Was ist ‚das‘? ● Ceph & ZFS - software-basierte Storagelösungen ● ZFS lokal / Ceph verteilt im Netzwerk ● Hervorragende Performance, Verfügbarkeit und https://ceph.io/ Skalierbarkeit ● Verwaltung und Überwachung mit Proxmox VE ● Technischer Support für Ceph & ZFS inkludiert in Proxmox Subskription http://open-zfs.org/ FrOSCon 14 | 10.08.2019 9/33 FrOSCon 14 | 10.08.2019 10/33 FrOSCon 14 | 10.08.2019 11/33 ZFS Architektur FrOSCon 14 | 10.08.2019 12/33 ZFS ARC, L2ARC and ZIL With ZIL Without ZIL ARC RAM ARC RAM ZIL ZIL Application HDD Application SSD HDD FrOSCon 14 | 10.08.2019 13/33 FrOSCon 14 | 10.08.2019 14/33 FrOSCon 14 | 10.08.2019 15/33 Ceph Network Ceph Docs: https://docs.ceph.com/docs/master/ FrOSCon 14 | 10.08.2019 16/33 FrOSCon 14 | 10.08.2019 17/33 Häufige Fehler / Kein separiertes Netzwerk / / Keine Enterprise-Hardware / / Over-commitment / FrOSCon 14 | 10.08.2019 18/33 Die Basis 12 fio --ioengine=libaio --filename=/dev/sdX --direct=1 --sync=1 --rw=write --bs=4K --numJobs=1 -- iodepth=110 --runtime=60 --time_based --group_reporting --name=baseline --output-format=normal --output=fio.log –bandwidth-log 8 Column 1 6 CPU: Single Intel® Xeon® E5-2620v4 2,1 GHZ 8/16 2133 Column 2 Mainboard: Supermicro X10SRi-F S2011-3 Column 3 4 Case: 2U Supermicro Chassis 8x Hotswap 2 100 Gbit NIC: Mellanox MCX456A-ECAT ConnectX-4, x16 PCIe 3.0 0 Row 1 Row 2 Row 3 Row 4 Memory: 4 x 16 GB DDR4 FSB2400 288-pin REG x4 1R FrOSCon 14 | 10.08.2019 19/33 Kein separiertes Netzwerk FrOSCon 14 | 10.08.2019 20/33 FrOSCon 14 | 10.08.2019 21/33 FrOSCon 14 | 10.08.2019 22/33 1600 1400 1200 c 1011.63 e /s B 1000 M 798.12 rados bench 60 write -b 4M -t 16 800 4 x Samsung SM863 as OSD per Node 600 400 20090.76 1226.53 3 Node Cluster 0 869.66 1366.25 88.27 100 Gbit Network4 Node Cluster 905.24 FrOSCon 14 | 10.08.2019 10 Gbit Network 1513.27 92.18 5 Node Cluster 935.06 1 Gbit Network 90.64 6 Node Cluster 23 /33 4000 353087.8200 3000 c rados bench 60 read -t 16 (uses 4M from write) e /s B 2500 M 2000 4 x Samsung SM863 as OSD per Node 151064.4200 1000 3244.52 50168.10 3 Node Cluster 0 906.9 3488.42 145.81 100 Gbit Network4 Node Cluster 969.45 FrOSCon 14 | 10.08.201910 Gbit Network 3566.42 138.03 5 Node Cluster 1 Gbit Network 985.8 194.33 6 Node Cluster 24 /33 Over-commitment FrOSCon 14 | 10.08.2019 25/33 FrOSCon 14 | 10.08.2019 26/33 Keine Enterprise-Hardware FrOSCon 14 | 10.08.2019 27/33 FrOSCon 14 | 10.08.2019 28/33 RAID vs HBA SAS3324 SAS3224 12Gb/s SAS I/O Controller RAID-on-Chip (ROC) Product Brief: https://www.broadcom.com/products/storage/ FrOSCon 14 | 10.08.2019 29/33 Mitmachen - Community ● Support Forum – https://forum.proxmox.com ● Proxmox VE Wiki – https://pve.proxmox.com ● Referenz-Dokumentation – https://pve.proxmox.com/pve-docs/ ● Übersetzung – https://pve.proxmox.com/wiki/Translations FrOSCon 14 | 10.08.2019 30/33 Mitmachen - Entwicklung ● Roadmap – https://pve.proxmox.com/wiki/Roadmap ● Mailing-Liste – https://pve.proxmox.com/cgi-bin/mailman/listinfo ● Bug Tracker – https://bugzilla.proxmox.com ● Quellcode – https://git.proxmox.com FrOSCon 14 | 10.08.2019 31/33 Kontakt Kundenportal: https://my.proxmox.com Support Forum: https://forum.proxmox.com Online Shop: https://shop.maurer-it.com/contact.php Allgemeine Anfragen: [email protected] FrOSCon 14 | 10.08.2019 32/33 DANKE FÜR IHRE AUFMERKSAMKEIT! Proxmox Server Solutions GmbH Bräuhausgasse 37 1050 Vienna | Austria [email protected] www.proxmox.com © 2019 Proxmox. All Rights Reserved. All brand names, product names, or trademarks belong to their respective holders..