Thomas Kalb Heinz-Josef Wrobel 03.06.2014 / DOAG 2014 Düsseldorf BENCHMARKING FÜR ORACLE DATENBANK SERVER - Canary in the Database - Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 1 ITGAIN Benchmarking – Start (2005) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 2 ITGAIN Benchmarking – Start (2005) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 3 Agenda ° Gründe für ein Datenbank Benchmarking ° Einsatzvarianten des Datenbank Benchmarkings ° Anforderungen an ein geeignetes Benchmarking ° Leistungskriterien für ein Datenbank Server System ° Das Datenbank Server System ° TPC Benchmarks ° Benchmarking Kategorien ° Application Level Benchmarking ° (Oracle-) Database Level Benchmarking ° Operating System Level Benchmarking ° ITGAIN Benchmark Verfahren ° Canary in the Database (Benchmarking und Monitoring – eine perfekte Kombination) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 4 Gründe für ein Datenbank Benchmarking ° Ermittlung der Leistungsfähigkeit des Datenbank Servers ° Single Unit Performance ° Test der Skalierungsfähigkeit ° Ermittlung der Leistungsgrenzen ° Transparenz des eigenen Leistungspotentials ° Erkennen von Schwachstellen ° Kann als Basis zur Ermittlung einer optimalen Datenbank Server Konfiguration verwendet werden. ° Kann als permanente Überwachung für die Datenbank Server Leistung verwendet werden (Canary in the Database). ° Ermittlung der Systemkosten ° Bildet die Grundlage für eine Kapazitätsplanung Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 5 Beispiele für Vergleiche ° AIX versus Linux ° z/OS versus Linux ° 64 Bit versus 32 Bit ° DB2 Version 10.1 versus DB2 Version 10.5 ° Oracle 11R2 versus DB2 Version 10.5 ° HANA versus BLU ° Dedizierter Server versus Virtueller Server ° SSD versus HDD ° Linux Kernel 2.6 versus Linux Kernel 3.0 ° Filesysteme ° Komprimierung versus Hauptspeicher ° ….. Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 6 Beispiel: Filesystem Vergleich Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 7 Einsatzvarianten des Datenbank Benchmarkings ° Exklusive und einmalige Durchführung der Benchmarks ° Geeignet für: ° Zur Feststellung des eignen Leistungsstandards ° Zur Feststellung von grundsätzlichen Leistungsdefiziten ° Sollte am Anfang eines globalen Datenbank Überprüfung durchgeführt werden ° Zum Vergleich mit alternativen Systemen ° Parallele und permanente Durchführung der Benchmarks ° Geeignet für: ° Zum Monitoren der Datenbank Performance ° Zur Erkennung von Ressource Engpässen Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 8 Anforderungen an ein geeignetes Benchmarking ° Portierbarkeit ° Übertragbarkeit auf verschiedene Systemplattformen ° Vergleichbarkeit ° Skalierbarkeit ° Anwendbarkeit auf kleine und große Computersysteme ° Übertragbarkeit auf verteilte Systeme ° Einfachheit/Verständlichkeit ° Relevanz ° Berücksichtigung “typischer” Operationen des jeweiligen Anwendungsbereichs ° Messen der maximalen Leistung Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 9 Leistungskriterien für einen Datenbank Server ° Technische Spezifikationen ° Anzahl Sockets ° Anzahl Cores ° GHz pro Core ° Hyper-Threading ° L1/L2/L3 Cache ° Hauptspeichergröße ° Hauptspeicherzugriffsgeschwindigkeit ° I/O – Anbindung ° I/O – Technologie ° ….. Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 10 Leistungskriterien für einen Datenbank Server ° Technische Leistungsdaten ° Anzahl Transaktionen pro Sekunde ° Anzahl Aufträge pro Minute (TPC-C) ° I/O Operationen pro Sekunde (IOPS) ° I/O Zugriffszeit ° Durchschnittliche Zugriffszeit für einen synchronen Get Block Request ° ….. Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 11 Beispiel: CPU Leistung http://www.tecchannel.de/server/prozessoren/2016541/test_die_schnellsten_cpus_im_benchmark_vergleich/ Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 12 CPU Performance versus CORE Performance ° Power 6 (4 * 4,7 = 18,8) ° Power 7 (8 x 3,5 = 28,0) ETL ETL (4 Streams) (4 Streams) 4,7 4,7 4,7 4,7 3,5 3,5 3,5 3,5 GHZ GHZ GHZ GHZ Ghz Ghz Ghz Ghz 4 4 4 4 4 4 256 256 256 256 4 MB 4 MB 4 MB 4 MB KB KB KB KB 32 MB L3 KB KB KB KB 256 256 256 256 32 MB L3 32 MB L3 256 Ghz Ghz Ghz Ghz 3,5 3,5 3,5 3,5 Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 13 Das Datenbank Server System Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 14 Das Datenbank Server System Database System Guest Operation System VMware Server VMware Storage Management Storage Infrastructure Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 15 Agenda ° Gründe für ein Datenbank Benchmarking ° Einsatzvarianten des Datenbank Benchmarkings ° Anforderungen an ein geeignetes Benchmarking ° Leistungskriterien für ein Datenbank Server System ° Das Datenbank Server System ° TPC Benchmarks ° Benchmarking Kategorien ° Application Level Benchmarking ° (Oracle-) Database Level Benchmarking ° Operating System Level Benchmarking ° ITGAIN Benchmark Verfahren ° Canary in the Database (Benchmarking und Monitoring – eine perfekte Kombination) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 16 TPC Benchmarks Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 17 TPC Benchmarks ° TPC ist ein Herstellergremium zur Standardisierung von DB- Benchmarks (www.tpc.org) ° Die TPC Benchmark ermöglichen einen objektiven und standardisierten Vergleich von Transaktionssystemen und Datenbankmanagementsystemen (DBMS) verschiedener Hersteller. ° Merkmale: ° Die Leistung eines Gesamt -Systems wird bewertet ° Bewertung der Kosteneffektivität (Kosten / Leistung) ° skalierbare Konfigurationen ° verbindliche Richtlinien zur Durchführung und Dokumentation ° Ausschluss von “Benchmark Specials” innerhalb von DBMS ° Aktuelle Benchmarks für ° OLTP (TPC-C) ° Web-OLTP (TPC-E) ° Decision Support (TPC-H) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 18 TPC-C Ergebnisse (2005) – OLTP Benchmark *tpmC: Anzahl von abgeschlossenen Aufträgen pro Minute Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 19 TPC-C Ergebnisse (Aktuell) *Date Submitted: Keine Veränderung seit März 2013 Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 20 TPC-C Ergebnisse (Vgl. 2005/Aktuell) ° 2005 ° Aktuell (2010) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 21 TPC-H Ergebnisse (2013) – Decision Support ….. ….. *QphH: Anzahl Queries pro Stunde Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 22 TPC-H Ergebnisse (Aktuell) – Decision Support ….. ….. *QphH: Anzahl Queries pro Stunde Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 23 TPC-E Ergebnisse (Mai 2013) – OLTP für eine Maklerfirma *tpsE: Anzahl Transaktionen pro Stunde Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 24 TPC-E Ergebnisse (Aktuell) *tpsE: Anzahl Transaktionen pro Stunde Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 25 Agenda ° Gründe für ein Datenbank Benchmarking ° Einsatzvarianten des Datenbank Benchmarkings ° Anforderungen an ein geeignetes Benchmarking ° Leistungskriterien für ein Datenbank Server System ° Das Datenbank Server System ° TPC Benchmarks ° Benchmarking Kategorien ° Application Level Benchmarking ° (Oracle-) Database Level Benchmarking ° Operating System Level Benchmarking ° Benchmarking und Monitoring – eine perfekte Kombination Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 26 Application Level Benchmarking ° Geeignet zur Validierung von Anwendungssystemen (Testen der Leistungsfähigkeit eines gesamten Systems) ° Funktionalitätstests ° Skalierungstests ° Limit Tests ° Capture & Replay (Aufzeichnen von kompletten Anwendungsverläufen) ° Applikations Benchmarking Tools ° Oracle Load Testing ° HP Load Runner ° JMeter Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 27 Oracle Database Benchmark Tools ° SLOB (Silly Little Oracle Benchmark) ° Swingbench ° Hammerdb ° Benchmark Factory (Dell) ° ORION (I/O Kalibrierung) Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 28 SLOB (Silly Little Oracle Benchmark) ° Frei verfügbar ° Client (Command-Line) für Windows und Linux ° Nur Oracle ° Benchmark speziell für I/O ° Weder (TPC-C like ) noch (TPC-H like ) ° Users ca. / Maximum size GB ° Kein OS-Benchmark Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank Copyright © 2014 ITGAIN GmbH 29 SwingBench ° Frei verfügbar, Java basierend ° Client für Windows und Linux (Swingbench (Client) / Minibench (Remote) / Charbench (Commend)) ° Nur Oracle ° Einfache Benchmark Tests gegen Cluster / Single Node / Failover ° OrderEntry (TPC-C like ), SalesHistory (TPC-H like ), CallingCircle and StressTest Benchmark ° Users