BENCHMARKING FÜR ORACLE DATENBANK SERVER - Canary in the Database

Thomas Kalb Heinz-Josef Wrobel 03.06.2014 / DOAG 2014 Düsseldorf BENCHMARKING FÜR ORACLE DATENBANK SERVER - Canary in the Database -

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Gründe für ein Datenbank Benchmarking ° Einsatzvarianten des Datenbank Benchmarkings ° Anforderungen an ein geeignetes Benchmarking ° Leistungskriterien für ein Datenbank Server System ° Das Datenbank Server System ° TPC Benchmarks ° Benchmarking Kategorien ° Application Level Benchmarking ° (Oracle-) Database Level Benchmarking ° Operating System Level Benchmarking ° ITGAIN Benchmark Verfahren ° Canary in the Database (Benchmarking und Monitoring – eine perfekte Kombination)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Copyright © 2014 ITGAIN GmbH 4 Gründe für ein Datenbank Benchmarking ° Ermittlung der Leistungsfähigkeit des Datenbank Servers ° Single Unit Performance ° Test der Skalierungsfähigkeit ° Ermittlung der Leistungsgrenzen ° Transparenz des eigenen Leistungspotentials ° Erkennen von Schwachstellen ° Kann als Basis zur Ermittlung einer optimalen Datenbank Server Konfiguration verwendet werden. ° Kann als permanente Überwachung für die Datenbank Server Leistung verwendet werden (Canary in the Database). ° Ermittlung der Systemkosten ° Bildet die Grundlage für eine Kapazitätsplanung

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Copyright © 2014 ITGAIN GmbH 5 Beispiele für Vergleiche ° AIX versus Linux ° z/OS versus Linux ° 64 Bit versus 32 Bit ° DB2 Version 10.1 versus DB2 Version 10.5 ° Oracle 11R2 versus DB2 Version 10.5 ° HANA versus BLU ° Dedizierter Server versus Virtueller Server ° SSD versus HDD ° Linux Kernel 2.6 versus Linux Kernel 3.0 ° Filesysteme ° Komprimierung versus Hauptspeicher ° …..

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Copyright © 2014 ITGAIN GmbH 7 Einsatzvarianten des Datenbank Benchmarkings ° Exklusive und einmalige Durchführung der Benchmarks ° Geeignet für: ° Zur Feststellung des eignen Leistungsstandards ° Zur Feststellung von grundsätzlichen Leistungsdefiziten ° Sollte am Anfang eines globalen Datenbank Überprüfung durchgeführt werden ° Zum Vergleich mit alternativen Systemen ° Parallele und permanente Durchführung der Benchmarks ° Geeignet für: ° Zum Monitoren der Datenbank Performance ° Zur Erkennung von Ressource Engpässen

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Portierbarkeit ° Übertragbarkeit auf verschiedene Systemplattformen ° Vergleichbarkeit ° Skalierbarkeit ° Anwendbarkeit auf kleine und große Computersysteme ° Übertragbarkeit auf verteilte Systeme ° Einfachheit/Verständlichkeit ° Relevanz ° Berücksichtigung “typischer” Operationen des jeweiligen Anwendungsbereichs ° Messen der maximalen Leistung

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Technische Spezifikationen ° Anzahl Sockets ° Anzahl Cores ° GHz pro Core ° Hyper-Threading ° L1/L2/L3 Cache ° Hauptspeichergröße ° Hauptspeicherzugriffsgeschwindigkeit ° I/O – Anbindung ° I/O – Technologie ° …..

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Technische Leistungsdaten ° Anzahl Transaktionen pro Sekunde ° Anzahl Aufträge pro Minute (TPC-C) ° I/O Operationen pro Sekunde (IOPS) ° I/O Zugriffszeit ° Durchschnittliche Zugriffszeit für einen synchronen Get Block Request ° …..

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

http://www.tecchannel.de/server/prozessoren/2016541/test_die_schnellsten_cpus_im_benchmark_vergleich/

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Power 6 (4 * 4,7 = 18,8) ° Power 7 (8 x 3,5 = 28,0)

ETL ETL (4 Streams) (4 Streams)

4,7 4,7 4,7 4,7 3,5 3,5 3,5 3,5 GHZ GHZ GHZ GHZ Ghz Ghz Ghz Ghz 4 4 4 4 4 4 256 256 256 256 4 MB 4 MB 4 MB 4 MB KB KB KB KB

32 MB L3

KB KB KB KB

256 256 256 256

32 MB L3 32 MB L3 256

Ghz Ghz Ghz Ghz

, 3,5 3,5 3,5 3,5

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Database System

Guest Operation System

VMware Server

VMware Storage Management

Storage Infrastructure

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° TPC ist ein Herstellergremium zur Standardisierung von DB- Benchmarks (www.tpc.org) ° Die TPC Benchmark ermöglichen einen objektiven und standardisierten Vergleich von Transaktionssystemen und Datenbankmanagementsystemen (DBMS) verschiedener Hersteller. ° Merkmale: ° Die Leistung eines Gesamt -Systems wird bewertet ° Bewertung der Kosteneffektivität (Kosten / Leistung) ° skalierbare Konfigurationen ° verbindliche Richtlinien zur Durchführung und Dokumentation ° Ausschluss von “Benchmark Specials” innerhalb von DBMS ° Aktuelle Benchmarks für ° OLTP (TPC-C) ° Web-OLTP (TPC-E) ° Decision Support (TPC-H)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

*tpmC: Anzahl von abgeschlossenen Aufträgen pro Minute

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

*Date Submitted: Keine Veränderung seit März 2013

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° 2005

° Aktuell (2010)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

….. …..

*QphH: Anzahl Queries pro Stunde

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

….. …..

*QphH: Anzahl Queries pro Stunde

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

*tpsE: Anzahl Transaktionen pro Stunde

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

*tpsE: Anzahl Transaktionen pro Stunde

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Gründe für ein Datenbank Benchmarking ° Einsatzvarianten des Datenbank Benchmarkings ° Anforderungen an ein geeignetes Benchmarking ° Leistungskriterien für ein Datenbank Server System ° Das Datenbank Server System ° TPC Benchmarks ° Benchmarking Kategorien ° Application Level Benchmarking ° (Oracle-) Database Level Benchmarking ° Operating System Level Benchmarking ° Benchmarking und Monitoring – eine perfekte Kombination

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Geeignet zur Validierung von Anwendungssystemen (Testen der Leistungsfähigkeit eines gesamten Systems) ° Funktionalitätstests ° Skalierungstests ° Limit Tests ° Capture & Replay (Aufzeichnen von kompletten Anwendungsverläufen) ° Applikations Benchmarking Tools ° Oracle Load Testing ° HP Load Runner ° JMeter

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° SLOB (Silly Little Oracle Benchmark) ° Swingbench ° Hammerdb ° Benchmark Factory (Dell) ° ORION (I/O Kalibrierung)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Frei verfügbar ° Client (Command-Line) für Windows und Linux ° Nur Oracle ° Benchmark speziell für I/O ° Weder (TPC-C like ) noch (TPC-H like ) ° Users ca. / Maximum size GB ° Kein OS-Benchmark

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Frei verfügbar, Java basierend ° Client für Windows und Linux (Swingbench (Client) / Minibench (Remote) / Charbench (Commend)) ° Nur Oracle ° Einfache Benchmark Tests gegen Cluster / Single Node / Failover ° OrderEntry (TPC-C like ), SalesHistory (TPC-H like ), CallingCircle and StressTest Benchmark ° Users ca. 10.000 / Maximum size 100GB ° Kein OS-Benchmark (Ergänzung z.B. durch OSWatcher )

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Open Source ° Windows / Linux Client (32- und 64-bit) ° Benchmark Workload für Oracle, Times Ten, MS SQL-Server, MySQL, Greenplum, PostgreSQL, Redi Database Plattforms ° Workload ähnlich wie beim TPC-C und TPC-H Benchmark (OLTP und DWH), nicht direkt vergleichbar ° TPM (Transactional Measurement) und NOPM (New orders per Minute) ° Max 64 Virtual users

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

• DB Performance Testing Tool • Cross-DB Support: Oracle, DB2, SQL Server, etc. • Top Features: • DB Workload Replay (aus Produktion) • Mitschneiden eines DB Workloads (Teilmenge möglich ) • Industrie-Standard Benchmark Tests • TPC-C, TPC-H, TPC-E, etc. • Skalierbarkeitsanalysen • Durchführung von „what-if“-Analysen • Alternative zu Oracle Real Application Testing

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Kommerziell ° Client für … ° Oracle, Microsoft SQL Server, DB2 UDB, SAP Sybase ASE, MySQL ° Workload wie bei AS3AP, TPC-C TPC-B, TPC-D, und Scalable Hardware Benchmarks ° Benchmarks für Cluster / Single Node / Failover ° Benchmark ° Max users …

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

• I/O Subsystem Stress Testing Tool • Top Features: • Synthetische Generierung eines I/O-Workload • Typische Datenbankzugriffsmuster • Messen der I/O-Performance

• Konfigurierbare Parameter: • Workload Patterns • OLTP – Small random I/O, Skalierung • OLAP – Large I/O size, Skalierung • Mix • Schreib-Anteil in Prozent • Cache warming • Testdauer

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Benchmark Tools -Benchmarking Line CPU, RAM) -Based Benchmarking Benchmarking Benchmarking -H-Like -C-Like -Subsystem ynthetic Benchmarking (Capture & (Capture TPC TPC Framework Command GUI Frühwarnsystem Kostenfrei Server ( Server I/O Unit Skalierungs Limit S Trace

SLOB

Swingbench

Hammerdb

Benchmark Factory

ORION (I/O Kalibrierung) Database Easy Benchmarking (ITGAIN)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Server Benchmarking (CPU, Memory) ° Prime95/MPrime (CPU) ° LinX (CPU + Memory) ° SysBench (CPU + Memory + I/O) ° Phoronix Text Suite (Linux)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Block Device I/O Support Benchmarking Read/Write

Tools I/O Support I/O I/O Support – Thread Unit OS Multi Regular Direkt Synchronous Asynchronous Ranodom MB/s Linux, (Solaris), dd (AIX), Windows Linux , AIX, Solaris, fio Windows

IOPs, MB/s % Linux, Windows, IOmeter (Solaris)

IOPs, KB/s Linux, AIX, Windows IOzone KB/S Linux, AIX,Solaris bonnie++ Windows IOPs; KB/s, Xdd Latency Linux, (AIX)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Benchmark Quelle Tool Fio freecode.com/projects/fio

Iometer www.iometer.org

Iozone www.iozone.org

Bonnie www.textuality.com/bonnie/

Bonnie++ www.coker.com.au/bonnie++/

Xdd www.ioperformance.com/

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Merkmale: ° Einfach in der Verwendung ° Die Performance der Verbindung kann dediziert getestet werden. ° Die Performance der Storage Einheit kann dediziert getestet werden.

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

http://www.mindwerks.net/wp-content/uploads/2010/09/xdd6.5.pdf

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Xdd – Ausgangssituation:

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Verwendung von Xdd: ./xdd -setup xxx.cfg

-op read -targets 1 /dev/mapper/vgprod-lvINDEX1 (for write use a file) !!!!!!! -reqsize 8 -mbytes 256 -passes 6 -verbose -seek random -seek seed -randomize -seek range 400000 -dio -output read02.log -csvout read02.csv -errout read02.err -ts output read_ts_02.csv -ts detailed

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° Xdd – Ergebnis:

Benchmarking für Datenbank-Server

° Xdd – Benchmarking der Storage Einheiten (HDD)

-op read -targets 1 /dev/mapper/vgprod-lvINDEX1 -reqsize 8 -mbytes 200000 „ high -passes 6 -verbose -seek random -seek seed Benchmark -randomize Area -seek range 400000 -dio -output read02.log -csvout read02.csv -errout read02.err -ts output read_ts_02.csv -ts detailed

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

-op read -targets 1 /dev/mapper/vgprod-lvINDEX1 -reqsize 8 -mbytes 256 „ small -passes 6 -verbose -seek random -seek seed Benchmark -randomize Area -seek range 400000 -dio -output read02.log -csvout read02.csv -errout read02.err -ts output read_ts_02.csv -ts detailed

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Storage

- mbytes 256 Cache

- mbytes 200000

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

° BASIC Benchmark ° TRX Benchmark ° LIMIT Benchmark

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Merkmale: ° Einsetzbar für AIX, Sun Solaris, Linux, HP-UX, Windows und z/OS ° Benötigt wenig Ressourcen ° Schnelle Durchführung ° Synthetischer Benchmark ° Sehr gut geeignet für den Leistungsvergleich

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

BASIC: ° Erstellung einer Ladedatei mit 10 Mio Zeilen ° Erstellung von zwei DMS Tablespaces (300.000 und 50.000 Pages) ° Laden von 10 Mio Zeilen ° Random I/O (Synchrone I/O) ° Read Ahead I/O (Asynchrone I/O) ° CPU Benchmark (43x43x43x43x43)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Dokumentation: ° Easy_Basis_Benchmark_Anleitung.pdf ° Easy_Basis_Benchmark_Anleitung_zOS.pdf ° README.txt

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

TRX Benchmark: ° 10 x 100.000 TRX ° Highscore: 17 Sec. ° Premium: 80 – 110 Sec.

Benchmarking für Datenbank-Server

Limit Benchmark: ° Erzeugung eines extremen CPU und I/O Workload ° Allokation von Hauptspeicher ° Kernel Parameter Check (Linux) / VMM (AIX)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Die Herausforderung

Wie kann eine verlässliche und kontinuierliche Leistungsüberwachung des Datenbankservers durchgeführt werden ?

Die Problemstellung

Die SQL Workload Ausprägungen der Datenbankserver variieren sehr stark.

Dies erschwert die Bewertung der aktuellen Leistungsfähigkeit des Datenbankservers.

Auch wenn identische SQLs zur Überprüfung verwendet werden, ist der interne Ressourcen- verbrauch unterschiedlich. Teilweise sind die benötigten Blöcke im Cache und teilweise nicht.

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Die Lösung

Implementierung einer Messmethode mit identischen Workload und identischen Ressourcenverbrauch.

Ein Satz von SQL Anweisungen mit einem fest definierten Ressourcenverbrauch . Die einzelnen SQLs prüfen durch die spezielle Workload-Charakteristik eine bestimmte Ressource des Servers (CPU, RANDOM I/O, Netzwerk, etc).

Durch die Vergleich der aktuellen Laufzeit eines Benchmark SQLs mit der entsprechenden Baseline werden dedizierte Leistungsdefizite aufgedeckt. Hierbei muss die Abweichung robust (> 5 Minuten) und signifikant (> Faktor 3) sein.

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Die Implementierung

Benchmark SQLs Dedizierte Datenbank Ressourcen

CPU 1 x Dedizierter Buffer Cache Synchronous read time 2 x Tablespaces Asynchronous read time 1 x Table Network Latency.

Die Monitoring-Integration

Die Laufzeitinformationen können aus Sicht des Clients (SQL Benchmark Scheduler) und des Datenbankservers (Monitoring) ermittelt werden. Zusätzlich können viele Monitorwerte ermittelt werden.

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Der dedizierte Bufferpool (No Caching)

create table….. storage (buffer_pool recycle) nocache; create index…. storage (buffer_pool recycle);

Optional:

alter system set DB_RECYCLE_CACHE_SIZE=0 scope=memory; alter system set DB_RECYCLE_CACHE_SIZE=128 scope=memory;

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Abschalten des File System Cache (Einschalten von DIRECT IO)

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Beispiel 1: Vergleich von unterschiedlichen Linux Kernels

Kernel 3.0 Kernel 2.6

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Beispiel 2: Skalierungstest / Kapazitätsanalyse

Welchen Effekt hat die Zunahme der Workloads auf die Leistungsfähgikeit des Servers?

Ist die Ressource-Kapazität ausreichend?

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Beispiel 3: Analyse der Netzwerk Zeit und der Netzwerk Bandbreite

Die Differenz zwischen Ausführungzeit und CPU-Zeit ergibt die Netzwerk Zeit. Das Benchmark SQL erzeugt eine große Ergebnismenge ohne physische I/O-Zugriffe.

Dieses Beispiel zeigt die gravierenden Unterschiede der Netzwerkzeiten zwischen Online (7 und 19) und Batchbetrieb (19 -7) auf. Die Netzwerkgeschwindigkeit ist zufriedenstellend. Allerdings reicht die Bandbreite (Kapazität) nicht aus.

hBenchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank

Hamburg 040/284 175 50 Köln 0221/650 78 299 Frankfurt 69 / 710 456 477 München 089/20802 7229

Benchmarking für Oracle Datenbank Server / DOAG 2014 Datenbank