Proxmox Ve Mit Ceph &

PROXMOX VE MIT CEPH & ZFS

ZUKUNFTSSICHERE INFRASTRUKTUR IM RECHENZENTRUM

Alwin Antreich Proxmox Server Solutions GmbH FrOSCon 14 | 10. August 2019 Alwin Antreich Software Entwickler @ Proxmox 15 Jahre in der IT als Willkommen! System / Netzwerk Administrator

FrOSCon 14 | 10.08.2019 2/33 Proxmox Server Solutions GmbH

Aktive Community Proxmox seit 2005 Globales Partnernetz in Wien (AT)

Proxmox Mail Gateway Enterprise (AGPL,v3) Proxmox VE (AGPL,v3) Support & Services

FrOSCon 14 | 10.08.2019 3/33 Traditionelle Infrastruktur

FrOSCon 14 | 10.08.2019 4/33 Hyperkonvergenz

FrOSCon 14 | 10.08.2019 5/33 Hyperkonvergente Infrastruktur

FrOSCon 14 | 10.08.2019 6/33 Voraussetzung für Hyperkonvergenz

CPU / RAM / Netzwerk / Storage

Verwende immer genug von allem.

FrOSCon 14 | 10.08.2019 7/33 FrOSCon 14 | 10.08.2019 8/33 Was ist ‚das‘?

● Ceph & ZFS - software-basierte Storagelösungen ● ZFS lokal / Ceph verteilt im Netzwerk ● Hervorragende Performance, Verfügbarkeit und https://ceph.io/ Skalierbarkeit ● Verwaltung und Überwachung mit Proxmox VE ● Technischer Support für Ceph & ZFS inkludiert in Proxmox Subskription http://open-zfs.org/

FrOSCon 14 | 10.08.2019 9/33 FrOSCon 14 | 10.08.2019 10/33 FrOSCon 14 | 10.08.2019 11/33 ZFS Architektur

FrOSCon 14 | 10.08.2019 12/33 ZFS ARC, L2ARC and ZIL

With ZIL Without ZIL

ARC RAM ARC RAM

ZIL ZIL Application HDD Application SSD HDD

FrOSCon 14 | 10.08.2019 13/33 FrOSCon 14 | 10.08.2019 14/33 FrOSCon 14 | 10.08.2019 15/33 Ceph Network

Ceph Docs: https://docs.ceph.com/docs/master/ FrOSCon 14 | 10.08.2019 16/33 FrOSCon 14 | 10.08.2019 17/33 Häufige Fehler

/ Kein separiertes Netzwerk / / Keine Enterprise-Hardware / / Over-commitment /

FrOSCon 14 | 10.08.2019 18/33 Die Basis

12 fio --ioengine=libaio --filename=/dev/sdX --direct=1 --sync=1 --rw=write --bs=4K --numjobs=1 -- iodepth=110 --runtime=60 --time_based --group_reporting --name=baseline --output-format=normal --output=fio.log –bandwidth-log 8

Column 1 6 CPU: Single Intel® Xeon® E5-2620v4 2,1 GHZ 8/16 2133 Column 2 Mainboard: Supermicro X10SRi-F S2011-3 Column 3 4 Case: 2U Supermicro Chassis 8x Hotswap 2 100 Gbit NIC: Mellanox MCX456A-ECAT ConnectX-4, x16 PCIe 3.0 0 Row 1 Row 2 Row 3 Row 4 Memory: 4 x 16 GB DDR4 FSB2400 288-pin REG x4 1R

FrOSCon 14 | 10.08.2019 19/33 Kein separiertes Netzwerk

FrOSCon 14 | 10.08.2019 20/33 FrOSCon 14 | 10.08.2019 21/33 FrOSCon 14 | 10.08.2019 22/33 rados bench 60 write -b 4M -t 16

4 x Samsung SM863 as OSD per Node

0 1513.27 0 6 1 1366.25 0 0 4 1 1226.53

0 0 2 1 1011.63 935.06 0 905.24 0 869.66 0 1 798.12 c e

s 0 / 0 8 B M 0 0 6

0 0 4

0 92.18 0 90.76 88.27 90.64 2

0 3 Node Cluster 4 Node Cluster 5 Node Cluster 6 Node Cluster

100 Gbit Network 10 Gbit Network 1 Gbit Network

FrOSCon 14 | 10.08.2019 23/33 rados bench 60 read -t 16 (uses 4M from write)

4 x Samsung SM863 as OSD per Node

0 0 0 4 3488.42 3566.42

0 3244.52 0 5 3 3087.82

0 0 0 3

0 0 5 2 c e

s 0 / 0 0 B 2 M 0 0 5 1 1064.42 906.9 969.45 985.8 0 0 0 1

0 0 168.1 194.33 5 145.81 138.03

0 3 Node Cluster 4 Node Cluster 5 Node Cluster 6 Node Cluster

100 Gbit Network 10 Gbit Network 1 Gbit Network

FrOSCon 14 | 10.08.2019 24/33 Over-commitment

FrOSCon 14 | 10.08.2019 25/33 FrOSCon 14 | 10.08.2019 26/33 Keine Enterprise-Hardware

FrOSCon 14 | 10.08.2019 27/33 FrOSCon 14 | 10.08.2019 28/33 RAID vs HBA

SAS3324 SAS3224 12Gb/s SAS I/O Controller RAID-on-Chip (ROC)

Product Brief: https://www.broadcom.com/products/storage/ FrOSCon 14 | 10.08.2019 29/33 Mitmachen - Community

● Support Forum – https://forum.proxmox.com ● Proxmox VE Wiki – https://pve.proxmox.com ● Referenz-Dokumentation – https://pve.proxmox.com/pve-docs/ ● Übersetzung – https://pve.proxmox.com/wiki/Translations

FrOSCon 14 | 10.08.2019 30/33 Mitmachen - Entwicklung

● Roadmap – https://pve.proxmox.com/wiki/Roadmap ● Mailing-Liste – https://pve.proxmox.com/cgi-bin/mailman/listinfo ● Bug Tracker – https://bugzilla.proxmox.com ● Quellcode – https://git.proxmox.com

FrOSCon 14 | 10.08.2019 31/33 Kontakt

Kundenportal: https://my.proxmox.com

Support Forum: https://forum.proxmox.com

Online Shop: https://shop.maurer-it.com/contact.php

Allgemeine Anfragen: [email protected]

FrOSCon 14 | 10.08.2019 32/33 DANKE FÜR IHRE AUFMERKSAMKEIT!

Proxmox Server Solutions GmbH Bräuhausgasse 37 1050 Vienna | Austria