Monitoring mit checkmk 13.9.2019 Ernst Leber
1 Monitoring mit checkmk Ernst Leber • DBA / DMA • Oracle Datenbanken seit 1989
• Hobbies • Fahrrad fahren (Rennrad) • Brauchtum Karneval oder Fasching (Veedels-Zoch) • Vorträge [email protected] eleoracle.wordpress.com @eletwit
2 Im Überblick
Hauptsitz 240 Ratingen Beschäftigte Technologie-orientiert Branchen-unabhängig
Zertifizierter Partner von Inhabergeführte Gründungsjahr Oracle, Aktiengesellschaft 1994 Microsoft und SAP
Ausbildungs- Niederlassung betrieb Frankfurt am Main
3 Monitoring mit checkmk Agenda • Kurzübersicht checkmk • Demo • Fragen
4 Monitoring mit checkmk Kurzübersicht Wikipedia:
Checkmk ist ein in Python entwickeltes Netzwerk-Monitoring-System, dessen Kern Open Source ist. Es basierte ursprünglich auf Nagios und erweitert dies um mehrere Komponenten. Seit vielen Jahren ist es ein eigenständiges Monitoring-System mit eigens entwickeltem Monitoring Kern.
Quelle: https://de.wikipedia.org/wiki/Check_MK
5 Monitoring mit checkmk Kurzübersicht Selbstauskunft:
Checkmk ist eine umfassende IT-Monitoringlösung für Anwendungen, Server und Netzwerke. Checkmk ist erhältlich in einer Raw Edition, die 100% Open Source ist, und einer Enterprise Edition mit einem komplett eigenen Kern, vielen zusätzlichen Features und professionellem Support.
Quelle: https://checkmk.de/features.html
RAW Edition: Open Source Enterprise Edition: Kostenpflichtig Managed Services: Kostenpflichtig (Mandantenfähig)
6 Monitoring mit checkmk Meine Konfiguration
Oracle 12
ora120
Oracle 18 mit mt-notebook.de Container DBs APEX 18 ora180 Tomcat
7 Monitoring mit checkmk checkmk Konfiguration
Oracle 12
ora120
Oracle 18 mit Container DBs
APEX 18 ora180 Tomcat Site mtnotebook OracleDBs
8 Monitoring mit checkmk Neuen Host anbinden
Oracle 12
ora120
Oracle 18 mit Container DBs
APEX 18 ora180 Tomcat Site mtnotebook OracleDBs
9 Monitoring mit checkmk Neuen Host anbinden
Eigene Checks ora18 Oracle Logfile OS ping
10 Monitoring mit checkmk Neuen Host in checkmk erstellt
Eigene Checks ora18 Oracle Logfile OS ping
11 Monitoring mit checkmk check mk Agent installiert
Eigene Checks ora18 Oracle Logfile OS ping
12 Monitoring mit checkmk Plugin mk_logwatch installiert
Eigene Checks ora18 Oracle Logfile OS ping
13 Monitoring mit checkmk Plugin mk_oracle installiert
Eigene Checks ora18 Oracle Logfile OS ping
14 Monitoring mit checkmk Lokale Checks
Eigene Checks ora18 Oracle Logfile OS ping
15 Monitoring mit checkmk Wie sieht’s aus?
16 Monitoring mit checkmk WATO Konfiguration „Hosts“
17 Monitoring mit checkmk Host Daten ausfüllen
18 Monitoring mit checkmk Host Verbindung ist da
19 Monitoring mit checkmk Neuen Host in checkmk erstellt
Eigene Checks ora18 Oracle Logfile OS ping
20 Monitoring mit checkmk Der Agent fehlt noch
21 Monitoring mit checkmk Agenten auf den Host Laden
[root@ora180 ~]# wget http://rtgcli1hwid470.mt-ag.com/OracleDBs/check_mk/agents/check-mk- agent-1.5.0p16-1.noarch.rpm
--2019-07-17 16:05:27-- http://rtgcli1hwid470.mt-ag.com/OracleDBs/check_mk/agents/check-mk- agent-1.5.0p16-1.noarch.rpm Resolving rtgcli1hwid470.mt-ag.com (rtgcli1hwid470.mt-ag.com)... 192.168.15.215 Connecting to rtgcli1hwid470.mt-ag.com (rtgcli1hwid470.mt-ag.com)|192.168.15.215|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 32695 (32K) [application/x-rpm] Saving to: ‘check-mk-agent-1.5.0p16-1.noarch.rpm’
100%[======>] 32,695 --.-K/s in 0s
2019-07-17 16:05:27 (232 MB/s) - ‘check-mk-agent-1.5.0p16-1.noarch.rpm’ saved [32695/32695]
22 Monitoring mit checkmk Agenten Installieren yum localinstall check-mk-agent-1.5.0p16-1.noarch.rpm Examining check-mk-agent-1.5.0p16-1.noarch.rpm: check-mk-agent-1.5.0p16-1.noarch Marking check-mk-agent-1.5.0p16-1.noarch.rpm to be installed Resolving Dependencies --> Running transaction check ---> Package check-mk-agent.noarch 0:1.5.0p16-1 will be installed --> Finished Dependency Resolution
Dependencies Resolved ======Package Arch Version Repository Size ======Installing: check-mk-agent noarch 1.5.0p16-1 /check-mk-agent-1.5.0p16-1.noarch 61 k Transaction Summary ======Install 1 Package …. Enable Check_MK_Agent in systemd... Verifying : check-mk-agent-1.5.0p16-1.noarch 1/1 Installed: check-mk-agent.noarch 0:1.5.0p16-1 Complete!
23 Monitoring mit checkmk Der Agent ist installiert, es sollten Services vorhanden sein
24 Monitoring mit checkmk In der WATO Konfiguration die Services auswählen
25 Monitoring mit checkmk Wir haben Services
26 Monitoring mit checkmk Den Change für den Host und die Services aktivieren
27 Monitoring mit checkmk Aktivierung erfolgreich
28 Monitoring mit checkmk Unmonitored Services
29 Monitoring mit checkmk Services Menu
30 Monitoring mit checkmk Host mit der Anzahl der Services
31 Monitoring mit checkmk check mk Agent installiert
Eigene Checks ora18 Oracle Logfile OS ping
32 Monitoring mit checkmk Monitoring des Alert-Log Files • Jede Datenbank hat ein Alert-Log mit „neuralgischen“ Fehlern • checkmk kann auch dieses Alert-log File überwachen • Dafür gibt es ein Plugin • Konfiguration mit einem Konfigfile
33 Monitoring mit checkmk Monitoring des Alert-Log Files Plugin Installieren
34 Monitoring mit checkmk Agenten Installieren cd /usr/lib/check_mk_agent/plugins wget http://rtgcli1hwid470.mt-ag.com/OracleDBs/check_mk/agents/plugins/mk_logwatch --2019-07-20 09:48:50-- http://rtgcli1hwid470.mt-ag.com/OracleDBs/check_mk/agents/plugins/ mk_logwatch Resolving rtgcli1hwid470.mt-ag.com (rtgcli1hwid470.mt-ag.com)... 192.168.15.215 Connecting to rtgcli1hwid470.mt-ag.com (rtgcli1hwid470.mt-ag.com)|192.168.15.215|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 21039 (21K) [text/plain] Saving to: ‘mk_logwatch’
100%[======>] 21,039 --.-K/s in 0s
2019-07-20 09:48:50 (142 MB/s) - ‘mk_logwatch’ saved [21039/21039]
[root@ora180 plugins]# chmod 755 mk_logwatch
35 Monitoring mit checkmk Agenten Konfigurieren vi /etc/check_mk/logwatch.cfg
/u01/app/oracle/diag/rdbms/*/*/trace/alert_*.log
C ORA-.?.?204 … C ORA-.?.?4[4-7][0-9] C ORA-.?.?48[0-5] C ORA-.?.?6[0-3][0-8] … C ORA-.?.?1135 … C ORA_.?.?162[89] C ORA-.?.?163[0-2] C No space left on device C Archival Error W ORA-000060 W ORA-0.?3113 W ORA-0.?6501 W ORA-0.?1140 W Archival stopped, error occurred. Will continue retrying
36 Monitoring mit checkmk Monitoring des Alert-Log Files der Service sollte jetzt sichtbar werden
37 Monitoring mit checkmk Plugin mk_logwatch installiert
Eigene Checks ora18 Oracle Logfile OS ping
38 Monitoring mit checkmk Host mit Details der Services ohne Datenbank
39 Monitoring mit checkmk Erfassen der DB-Services ELE bis hier!! • Bisher haben wir nur den Host angebunden • Offen • Oracle Datenbank • Jobs • Log-Files
40 Monitoring mit checkmk Agenten Installieren
41 Monitoring mit checkmk Agenten Auswählen
42 Monitoring mit checkmk Agenten Installieren
[root@ora180 plugins]# wget http://rtgcli1hwid470.mt-ag.com/OracleDBs/check_mk/agents/ plugins/mk_oracle --2019-07-20 09:07:44-- http://rtgcli1hwid470.mt-ag.com/OracleDBs/check_mk/agents/plugins/ mk_oracle Resolving rtgcli1hwid470.mt-ag.com (rtgcli1hwid470.mt-ag.com)... 192.168.15.215 Connecting to rtgcli1hwid470.mt-ag.com (rtgcli1hwid470.mt-ag.com)|192.168.15.215|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 58091 (57K) [text/plain] Saving to: ‘mk_oracle’
100%[======>] 58,091 --.-K/s in 0s
2019-07-20 09:07:44 (217 MB/s) - ‘mk_oracle’ saved [58091/58091] [root@ora180 plugins]# chmod 755 mk_oracle
43 Monitoring mit checkmk Datenbank User anlegen
SQL > create user c##check_mk identified by u55ujCZvn6vcvzvnCpk container = all; User created. SQL > grant resource, select_catalog_role to c##check_mk container = all; Grant succeeded. SQL > grant create session to c##check_mk container = all; Grant succeeded. alter user c##check_mk set container_data=all container=current; User altered.
44 Monitoring mit checkmk Agenten Konfigurieren
# Example for mk_oracle.cfg # DBUSER=
45 Monitoring mit checkmk Agenten Konfigurieren
DBUSER=c##check_mk:u55ujCZvn6vcvzvnCpk chmod 600 /etc/check_mk/mk_oracle.cfg touch /etc/check_mk/sqlnet.ora
# Testen mit export MK_CONFDIR=/etc/check_mk/ /usr/lib/check_mk_agent/plugins/mk_oracle -t
46 Monitoring mit checkmk Agenten Testen
[root@ora180 plugins]# /usr/lib/check_mk_agent/plugins/mk_oracle -t <<
47 Monitoring mit checkmk Oracle Services ?!?
48 Monitoring mit checkmk Change Bestätigen
49 Monitoring mit checkmk Pending Services sind vorhanden!!
50 Monitoring mit checkmk Plugin mk_oracle installiert
Eigene Checks ora18 Oracle Logfile OS ping
51 Monitoring mit checkmk Der Listener wird automatisch überwacht • Stoppen des Listeners:
[oracle@ora180 ~]$ lsnrctl stop listener LSNRCTL for Linux: Version 18.0.0.0.0 - Production on 20-JUL-2019 09:59:41 Copyright (c) 1991, 2018, Oracle. All rights reserved. Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC1))) The command completed successfully [oracle@ora180 ~]$
52 Monitoring mit checkmk Der Listener ist durch den Connect Automatisch im Monitoring
53 Monitoring mit checkmk Alles(?) wieder in Ordnung
54 Monitoring mit checkmk Neuen Host anbinden
Oracle 12
ora120
Oracle 18 mit Container DBs APEX 18 ora180 Tomcat ORDS Site mtnotebook OracleDBs
http://rtgcli1hwid470.mt-ag.com/OracleDBs
55 Monitoring mit checkmk Monitoring Apache httpd
56 Monitoring mit checkmk Monitoring Apache httpd
57 Monitoring mit checkmk Monitoring Apache httpd
58 Monitoring mit checkmk Monitoring Apache httpd
59 Monitoring mit checkmk Monitoring Apache httpd • Neuen Service Speichern • Change bestätigen
60 Monitoring mit checkmk Monitoring Apache httpd
61 Monitoring mit checkmk Monitor URL
62 Monitoring mit checkmk URL mit checkmk Monitoren
63 Monitoring mit checkmk Monitoring Apache httpd
64 Monitoring mit checkmk Tomcat User eintragen für den Check vi /opt/tomcat/conf/tomcat-users.xml -->
65 Monitoring mit checkmk Monitoring Apache httpd
66 Monitoring mit checkmk Monitoring Apache httpd
67 Monitoring mit checkmk Monitoring von Jobs Leicht gemacht:
[oracle@ora180 ~]$ crontab -l
Alt: 0 */3 * * * flock -x /tmp/bkp_ora180 /home/oracle/ora_bkp/rman_bckup_ora180_arc.sh
Neu: 0 */3 * * * flock -x /tmp/bkp_ora180 mk-job Backup-Archivelog-ora180 /home/oracle/ ora_bkp/rman_bckup_ora180_arc.sh
68 Monitoring mit checkmk Monitoring Apache httpd
69
Fragen? Ernst Leber Telefon: +49 2102 30961 – 0 [email protected] eleoracle.wordpress.com @eletwit
70