02/2017

SDS-Konfiguration und -Performance Titelthema Auf dem Prüfstand Verteilte Dateisysteme Verteilte

20 Das Versprechen von Software Defined Storage ist es, heterogenen Speicher zentral und mit eingebauter Re­

- magazin.de dundanz zu verwalten. Der folgende Test geht der Frage nach, wie kompliziert das Aufsetzen der dazu nötigen

verteilten Dateisysteme ist. Ein Benchmark zeigt, welche Operationen jedes am besten beherrscht. Konstantin Agouros www.linux

ständischen Unternehmen mehrere Ser- ver warten, auf denen Festplattenplatz brachliegt. In diesem Fall kann es inte- ressant sein, diesen Platz mit Hilfe der verteilten Dateisysteme in einem redun- danten Array zu bündeln.

Kandidatenkür

Linux-Admins dürfen gleich auf mehrere Varianten solcher hochverfügbaren, ver- teilten Dateisysteme zugreifen. Bekannt sind Gluster-FS [1] und Ceph [2], un- bekannter ist Lizard-FS (siehe folgenden Artikel, [3]). Dieser Beitrag analysiert die drei Systeme und vergleicht in ei- nem Benchmark die Lese- und Schreib- © wathanyu sowong, 123RF sowong, © wathanyu geschwindigkeiten im Testnetz. Zwar ist die Geschwindigkeit ein zent- Nicht selten landen Technologien, die sich beim Crash einzelner Komponenten rales Feature von Dateisystemen, doch anfangs hauptsächlich in großen Rechen- darauf verlassen, dass die Landschaft die gibt es nicht nur ein Tempo: Je nachdem, zentren zum Einsatz kommen, irgend- Daten dennoch konsistent speichert und wofür der Admin das Dateisystem ein- wann auch in den Netzwerken kleinerer zugänglich macht. setzen möchte, kann mal das sequenzi- Unternehmen oder gar – wie im Falle In einer Umgebung mit nur einem File- elle Schreiben,­ mal das schnelle Anlegen der Virtualisierung – auf den Desktops server ergibt die Technologie wenig Sinn, neuer Dateien, mal auch das zufällige gewöhnlicher User. Dieser Prozess lässt in großen IT-Landschaften deutlich mehr. Lesen unterschiedlicher Daten ausschlag- sich auch für Software Defined Storage Hier setzt der Admin das Szenario pro- gebend sein. Die Benchmark-Ergebnisse (SDS) beobachten. fessionell mit dedizierten Servern und geben Hinweise auf die Schwächen und Im Grunde geht es bei SDS darum, die Kombinationen aus SSDs und traditio- Stärken der Systeme. Festplatten mehrerer Server in eine große, nellen Festplatten um. Gewöhnlich ver- Die drei Kandidaten im Test verfolgen redundante Speicherlandschaft zu ver- bindet er die Komponenten dabei über dabei unterschiedliche Ansätze. Ceph ist wandeln. Der Nutzer des Speichers soll ein 10-Gigabit-Netzwerk miteinander und ein verteilter Object Store, der in Form sich nicht mehr darum kümmern, auf mit den Clients. von Ceph-FS [4] auch als Dateisystem welcher konkreten Festplatte seine Daten SDS bringt aber inzwischen auch schon einsetzbar wird. Gluster-FS und Lizard- im Augenblick liegen. Zugleich soll er Mehrwert, wenn in kleinen oder mittel- FS sind hingegen als Dateisysteme konzi-

Tabelle 1: Testhardware Server CPU RAM Storage Fileserver 1 Intel Xeon X5667 mit 3 GHz und 16 Kernen 16 GByte Disk-Array T6100S mit 10 Hitachi-Platten (7200 RPM), als Raid 1 konfiguriert Fileserver 2 Intel Core i3 530 mit 2,9 GHz und 4 Kernen 16 GByte I-SCSI-Array Thecos mit 2 320-GByte-Festplatten, als Raid 1 konfiguriert Admin-Server Intel Core 2 E6700 mit 2,66 GHz und 2 Kernen 2 GByte keine Angabe Client Intel Core 2 6320 mit 1,86 GHz und 2 Kernen 2 GByte keine Angabe 02/2017 Titelthema Verteilte Dateisysteme Verteilte

21 - magazin.de www.linux

Abbildung 1: Lizard-FS gehört eher zu den Newcomern unter den verteilten Dateisystemen, bringt aber eine Weboberfläche für Admins mit. piert. Während jedoch zum Betrieb eines mit reichlich Festplatten verbunden war didaten unter gleichen Bedingungen zu Gluster-Setups bereits zwei Knoten ge- (Tabelle 1). Als Betriebssystem auf den testen. Als Testwerkzeuge kamen dabei nügen, braucht Lizard-FS noch einen zu- Storage-Servern lief Centos 7, auf einem Bonnie++ [5] in Version 1.97 und Io- sätzlichen Kontrollknoten. Dafür bringt vierten Admin-Rechner Ubuntu 16.04 zone 3.429 [6] zum Einsatz. Die startete es eine Weboberfläche mit (Abbildung LTS. Er diente Ceph-FS und Lizard-FS als der Tester jeweils auf dem Client und 1), die den Admin über den Zustand des Monitor respektive Master-Server. ließ sie dann jeweils auf das gemountete Clusters informiert. Fileserver 1 besaß ein über SCSI ange- Dateisystem des Testkandidaten los. Der Artikel schaut zunächst, wie viel Auf- schlossenes Storage-Array, Fileserver 2 wand Installation und Konfiguration der war über I-SCSI an ein weiteres Array Gluster-FS Dateisysteme bereiten, und betrachtet im angebunden. Die Kommunikation zwi- Benchmark den Datendurchsatz. schen den Servern erfolgte mit Gigabit- Gluster-FS ließ sich unter den Teilneh- Ethernet, während der Client und der Ad- mern am einfachsten aufsetzen. Der Tes- Der Testaufbau min-Server jeweils nur eine 100-MBit/s- ter musste die Software lediglich auf dem Schnittstelle mitbrachten. Kein Aufbau Ubuntu-Client und den beiden Storage- Das Setup im Linux-Magazin-Labor be- für Hochleistungsanforderungen, aber in Servern installieren. Zur Installation auf stand aus einem Client mit Ubuntu Linux kleineren Unternehmen nicht unüblich. Centos fügte er das Epel-Repository [7] 16.04 LTS, der mit zwei Storage-Servern Das Setup erlaubte es zudem, die Kan- hinzu und rief »yum update« auf. 02/2017 Titelthema Dann kann er die Software in Ver- verwendet, sollte der Admin zunächst (Object Storage Devices), sowie an den sion 3.8.5 über die Pakete »centos‑re- die Preflight-Sektion der Dokumentation Admin-Rechner, auf dem zugleich der lease‑gluster« und »glusterfs‑server« [9] durcharbeiten. Dies sind die wesent- Admin- sowie der Monitor-Node laufen, einspielen. Um den Dienst zu starten, lichen Arbeitsschritte: wobei letzterer die Kontrolle besitzt. aktiviert der Admin den »glusterd« über n Einen »ceph‑deploy«-User auf allen Da »ceph‑deploy« praktischerweise auch »systemctl«. Nach dem Start des Dienstes Systemen anlegen. die verschiedenen Linux-Distributionen

Verteilte Dateisysteme Verteilte auf beiden Storage-Servern prüft er deren n Diesen User in die Sudoers-Liste ein- kennt, kümmert es sich selbst um die In- 22 Lebenszeichen über: tragen, damit er alle Kommandos ohne stallationsdetails. Anschließend aktiviert Passworteingabe ausführen kann. der Tester den ersten Monitor-Node über gluster peer probe IP/Hostname_des_Peer

- magazin.de n Einen SSH-Schlüssel in der »~/.ssh/ den Befehl: peer probe: success. authorized_keys«-Datei dieses Benut- ceph‑deploy mon create‑initial

www.linux Erscheint die Antwort aus der zweiten zers eintragen, damit sich das Admin- Zeile, verläuft alles nach Plan. Taucht System damit anmelden kann. Das Kommando sammelt auch die eine Fehlermeldung auf, liegt die Ursache n Die »~/.ssh/config« so konfigurieren, Schlüssel der beteiligten Systeme ein, vermutlich an der fehlenden Namensauf- dass SSH beim Kommando »ssh host« damit die Ceph-interne Kommunikation lösung oder der Admin hat schlicht ver- den angelegten Benutzer und die rich- funktioniert. gessen den Dienst zu starten. tige Schlüsseldatei verwendet. Danach erzeugt der Tester das Volume, Das Dateisystem erzeugt der Tester auf Diese Schritte führt der Admin auf allen was in zwei Schritten passiert. Über die den existierenden Dateisystemen der vier Rechnern aus, also auf den Storage- Kommandos Storage-Server, um es im zweiten Schritt Servern, dem Client und dem Admin- ceph‑deploy osd prepare Fileserver_1:U zu aktivieren: Server. Unter Centos auf den Storage- /Verzeichnis Fileserver_2:/Verzeichnis Servern ergänzt er wieder das Epel-Repo- ceph‑deploy osd activate Fileserver_1:U gluster volume create lmtest replica 2 U sitory [7] und installiert Ceph 10.2.3. Für /Verzeichnis Fileserver_2:/Verzeichnis transport tcp Fileserver_1:/Mountpoint U Fileserver_2:/Mountpoint Debian- und Ubuntu-Systeme (Client und gluster volume start lmtest Admin-Server) wartet in der Preflight- legt er das Volume auf den Storage- Sektion der Dokumentation [9] eine An- Servern Fileserver_1 und Fileserver_2 Um das neu angelegte Volume zu nut- leitung, wo auf der Ceph-Homepage sich an. Wie bei Gluster existieren auch die zen, benötigt der Tester noch das Paket das Repository für Ceph 10.2.2 befindet, Verzeichnisse bereits und enthalten das »glusterfs‑client«. Es bringt die Kernel- das im Test zum Einsatz kam. Dateisystem, auf dem Ceph die Daten treiber und notwendigen Werkzeuge mit, Das Tool »ceph‑deploy« sammelt Daten speichert. Als Admin aktiviert er das Vo- um ein Volume einzubinden. Das erledigt wie Schlüssel im aktuellen Verzeichnis. lume anschließend. Der Befehl dann der Befehl: Die Dokumentation empfiehlt daher, für ceph‑deploy admin Admin‑Rechner U jeden Ceph-Cluster ein eigenes Verzeich- mount.glusterfs Fileserver_1:/lmtest U Fileserver_1 Fileserver_2 Client nis anzulegen. Das Kommando /mnt/glusterfs verteilt die Schlüssel an alle Systeme. ceph‑deploy new mon‑node Anschließend steht das Dateisystem auf Als Argument dient wieder die Liste der dem Client für die Leistungstests bereit. schiebt die Installation an. Es erzeugt Rechner, die einen Key brauchen. im aktuellen Verzeichnis unter anderem Fehlt noch der Metadaten-Server. Ihn Spaß mit »ceph‑deploy« die Datei »ceph.conf«. Damit der Testauf- legt er mit dem Befehl »ceph‑deploy mds bau mit zwei Storage-Nodes funktioniert create mdsnode« an. Das Kommando Beim schnellen Einstieg in Ceph hilft die (Ceph verwendet standardmäßig drei, »ceph health« überprüft am Ende, ob der Dokumentation unter [8]. Installation damit es eine Mehrheit gibt), benötigt Cluster funktioniert. und Konfiguration übernimmt das Werk- die Konfigurationsdatei im Abschnitt zeug »ceph‑deploy« [9]. Da es SSH-Ver- »[global]­« die Zeile: Der Client bindungen zu den verwalteten Systemen osd pool default size = 2 Für den Ceph-Client stehen drei Optionen Listing 1: »mfsmaster.cfg« Es folgt die Installation der eigentlichen zu Wahl. Neben Kernelspace-Implemen-

01 PERSONALITY = master Software, die »ceph‑deploy« ebenfalls tierungen von Ceph-FS und Ceph Rados

02 ADMIN_PASSWORD = admin123 übernimmt. Dazu dient das Kommando: gibt es Ceph-FS noch in einer Userspace-

03 WORKING_USER = mfs Version. Der Test schickt Ceph Rados und ceph‑deploy install Admin‑Rechner U Ceph-FS mit Kernelspace-Implementie- 04 WORKING_GROUP = mfs Fileserver_1 Fileserver_2 Client rung ins Rennen. 05 SYSLOG_IDENT = mfsmaster Als Argumente erwartet es eine Liste der Als Block Device legt der Tester über »rbd 06 EXPORTS_FILENAME = /etc/mfs/mfsexports.cfg Hosts, auf die »ceph‑deploy« die Soft- create lmtest ‑‑size 8192« ein neues Rados 07 TOPOLOGY_FILENAME = /etc/mfs/mfstopology.cfg ware spielen soll. Das Tool verteilt die Block Device an (RBD), das er mit 08 CUSTOM_GOALS_FILENAME = /etc/mfs/mfsgoals.cfg Pakete also an den Client, an die Storage- 09 DATA_PATH = /var/lib/mfs Nodes, die in der Ceph-Welt OSDs heißen rbd map lmtest ‑‑name client.admin 02/2017 Titelthema Verteilte Dateisysteme Verteilte

23 - magazin.de www.linux Abbildung 2: Die beiden Ceph-Kandidaten schreiben die Daten schneller, belas- Abbildung 3: Beim blockweisen Schreiben sieht das Ergebnis etwas ausgegliche- ten dabei aber auch die CPU deutlich stärker. ner aus. Die NFS-Werte liegen unter denen von Ceph und Lizard. aktiviert. Das Gerät steht dann im Pfad nige Argumente übergeben, um Features der Admin im ersten Schritt einen Pool »/dev/rbd/rbd/lmtest« bereit und lässt abzuschalten. Der Befehl für Daten und einen für Metadaten: sich mit einem Dateisystem versehen, rbd feature disable lmtest exclusive‑lock U das der Client wie eine lokale Festplatte ceph osd pool create datapool 1 object‑map fast‑diff deep‑flatten ceph osd pool create metapool 2 mountet. Auf dem Ubuntu-Rechner wirft das bringt nach einigen Tests den gewünsch- Die beiden Zahlen am Ende verweisen »map«-Kommando allerdings eine Feh- ten Erfolg. auf den Index der Placement Group. Die- lermeldung aus. Um das Rados-Device Danach gilt es, ein Ceph-Dateisystem ses Kommando führt der Cluster-Betrei- dennoch anzulegen, muss der Tester ei- (Ceph-FS) bereitzustellen. Dazu erzeugt ber auf dem Admin-Node aus, der auf

Anzeige 02/2017 Titelthema dem Admin-Rechner läuft, und erzeugt Chunk-Servern mit den Festplatten »li- bei schneller Netzwerkanbindung oder dann das Dateisystem, das diese beiden zardfs‑chunkserver«. bei lokalen Platten aber eher ein Test für Pools verwendet. Die Anweisung lautet: Die Konfiguration findet sich auf allen die CPU des Clients als für den getesteten Systemen unter »/etc/mfs«. Auf dem Speicher. ceph fs new lmtest metapool datapool Master-Rechner verwandelt er die Da- Ceph-FS und Ceph Rados schreiben mit Der Client mountet jetzt das Dateisystem. teien »mfsgoals.cfg.dist«, »mfstopology. 391 und 386 KByte pro Sekunde deut-

Verteilte Dateisysteme Verteilte Hierzu muss er sich jedoch authentisie- cfg.dist«, »mfsexports.cfg.dist« und »mfs- lich schneller als Gluster mit 12 KByte 24 ren. Das Passwort generiert »ceph‑de- master.cfg.dist« in Versionen ohne die En- und Lizard mit 19 KByte. Dafür liegt bei ploy« und verteilt es auf den Client. Dort dung ».dist«. Für einen Testaufbau passen den beiden Ceph-Kandidaten die CPU-

- magazin.de landet es in der »/etc/ceph/ceph.client. dann die Inhalte aller Dateien, lediglich Last des Clients bei gut über 90 Prozent, admin.keyring«-Datei. die Datei »mfsmaster.cfg« benötigt die während Bonnie für die beiden anderen Listing 1 www.linux Der Benutzername lautet im Test einfach Einträge aus . nur 30 Prozent (Lizard) und 20 Prozent »admin«, ihn übergibt der Client mit dem Auf den Chunk-Servern warten die (Gluster) misst. Ein NFS-Mount zwischen folgenden Kommando an das Dateisys- Konfigurationsdateien im Verzeichnis dem Client und Fileserver_2 schafft 530 tem: »/etc/mfs«. In die Datei »mfschunk- KByte/s​ (Abbildung 2). server.cfg« gehört lediglich der Eintrag Beim blockweisen Schreiben fallen die mount ‑t ceph mdsnode:6789:/ /mnt/cephfs/ U »MASTER_HOST«, der auf den Master Unterschiede weniger frappierend aus. ‑o name=admin,secret=Keyring‑Passwort verweisen soll. In die Datei »mfshdd.cfg« Beide Ceph-Varianten und Lizard liegen Anschließend steht das Dateisystem für trägt der Admin die Verzeichnisse ein, dicht beieinander, Gluster erzielt etwa den Test bereit. in denen Lizard auf dem Chunk-Server die Hälfte der Performance (Abbildung Daten ablegt. Da der Dienst unter der 3). In Zahlen: Ceph Rados erreichte 11,1 Lizard-FS Benutzerkennung »mfs« läuft, muss der MByte/​s, Ceph-FS 11,5 MByte/​s, Lizard Betreiber sicherstellen, dass dieser Be- 11,4 MByte/​s und Gluster 5,7 MByte/​ Lizard-FS, das der zweite Artikel des nutzer Schreibrechte für die verwendeten s. Die lokale NFS-Verbindung schafft im Schwerpunkts beleuchtet, ähnelt Ceph Verzeichnisse besitzt. Vergleich nur 10,6 MByte/​s. Vermutlich im Aufbau. Die Daten landen auf so ge- Schließlich startet der Admin die Mas- erzielen Ceph und Lizard hier dank der nannten Chunk-Servern (die auch die ter- und Chunk-Server-Dienste auf den Verteilung auf mehrere Server einen hö- Festplatten enthalten sollten), ein Master- jeweiligen Rechnern: heren Durchsatz. Server koordiniert alles. Den Unterschied Beim Überschreiben der Dateien liegen systemctl start lizardfs‑master macht die anfangs erwähnte Weboberflä- die Ergebnisse wieder weiter auseinan- systemctl start lizardfs‑chunkserver che (Abbildung 1). der. Ceph-FS tut sich mit 6,3 MByte/s Zur Installation der Version 3.10.4 unter Damit ist alles vorbereitet, der Client spürbar leichter als Ceph Rados (5,6 Centos fügt der Admin das Repository un- kann das Dateisystem einhängen und MByte/s).​ Lizard-FS fällt dagegen mit 1,7 ter »http://packages.lizardfs.com/yum/ darauf zugreifen: MByte/​s deutlich ab und Gluster landet el7/lizardfs.repo« zum Verzeichnis »/etc/ abgeschlagen auf dem vierten Platz mit mfsmount ‑o mfsmaster=lizard‑master U zum.repos.d« hinzu. Auf dem Master- 311 KByte/s.​ Mountpoint Server (dem Admin-Rechner) installiert Beim Lesen nähert sich das Feld dann er dann das Paket »lizardfs‑master«, auf Um die anfangs angesprochene Web- wieder an (Abbildung 4). Beim bytewei- dem Client »lizardfs‑client« und auf den schnittstelle zu nutzen, installiert der sen Lesen liegt das sonst im hinteren Teil Admin das Paket »lizardfs‑cgiserv«, das des Feldes laufende Gluster mit knapp 2 So haben wir getestet dann als Server auf Port 9425 Verbindun- MByte/​s vor Ceph Rados (1,5 MByte/​s), Zum Einsatz kamen Bonnie++ 1.97 und Io- gen akzeptiert. Lizard (1,5 MByte/​s) und dem hier abge- zone 3.429. Ersteres testet sequenzielles schlagenen Ceph-FS (913 KByte/s).​ NFS block- und byteweises Schreiben, Lesen und Bonnie Voyage hält sich mit 1,4 MByte/​s im Mittelfeld. Überschreiben. Zudem erzeugt die Software Auffällig bei Ceph-FS ist, dass die CPU- sequenziell, aber auch zufällig, Dateien und Für die Tests setzt der Tester auf Bon- Auslastung trotz der niedrigen Leistung löscht sie wieder. Iozone beschränkt sich da- nie++ und Iozone (siehe Kasten „So bei 99 Prozent liegt. rauf, das Schreiben, Lesen und Überschrei- haben wir getestet“). Bonnie++ tes- Bonnie++ testet auch Seek-Operationen, ben zu testen, aber dafür mit verschiedenen tet im ersten Lauf byteweises und dann um die Geschwindigkeit der Leseköpfe Blockgrößen. blockweises Schreiben, wozu es das sowie das Anlegen und Löschen von Da- Um die Performance des Dateisystems und »putc()«-Makro respektive den System- teien zu erkunden. nicht des Cache-Speichers vom Client zu tes- aufruf »write(2)« verwendet. Der Test Bei den Seeks ist im Test die Spanne wie- ten, leerte der Tester die Caches mit »echo 3 > überschreibt die Blöcke per Rewrite und der extrem groß, Ceph Rados stellt sich /proc/sys/vm/drop_caches«. Jeden Test wie- misst den Datendurchsatz dabei. mit durchschnittlich 1737 Input/Output- derholte er für jedes Dateisystem zweimal In den Testergebnissen hält Bonnie++ Operations per Second (IOPS) als klarer und betrachtete dann die Mittelwerte der auch die CPU-Last während des Tests Sieger heraus. Ihm folgt Ceph-FS (1035 jeweiligen Versuche. fest. Gerade das byteweise Schreiben ist IOPS), dann kommt lange nichts, schließ- 02/2017 Titelthema Verteilte Dateisysteme Verteilte

25 - magazin.de www.linux Abbildung 4: Beim byteweisen Lesen schiebt sich Gluster-FS an die Spitze, wäh- Abbildung 5: Für den starken Ausschlag beim Test mit Ceph Rados könnten rend Ceph-FS deutlich abfällt. Dateioperationen auf dem Ext-4-System des Block Device verantwortlich sein. lich trödeln noch Lizard (169 IOPS) und len, etwa als Webcache, sind diese Leis- des Block Device ausführte. Dies mel- Gluster (85 IOPS) hinterher. NFS liegt im tungsdaten wichtiger als das rohe Lesen dete womöglich wesentlich schneller an Vergleich mit 739 IOPS in der Mitte. oder Schreiben in einer Datei. Bonnie++ zurück, dass die Datei an- Die letzte Testrunde befasst sich mit dem Beim linearen Anlegen von Dateien ge- gelegt sei. Das Rados Device schafft im Anlegen und Lesen (hier ist der Stat-Sys- winnt Ceph Rados mit einer ganzen Grö- Durchschnitt rund 7500 IOPS. Ceph-FS temcall gemeint, der die Metadaten einer ßenordnung Vorsprung (Abbildung 5). landet trotzdem mit rund 540 IOPS auf Datei, etwa den Besitzer oder die Erzeu- Das ist ungewöhnlich und liegt mutmaß- dem zweiten Platz, gefolgt von Lizard gungszeit ausliest) und dem Löschen von lich daran, dass Ceph Rados die Datei- mit 340 und dicht dahinter Gluster mit Dateien. In bestimmten Anwendungsfäl- Operationen auf dem Ext-4-Dateisystem 320. NFS verliert diesen Wettkampf mit 02/2017 Titelthema 41 Operationen. Das zufällige Anlegen Lesen und Schreiben, tut dies jedoch mit Scheut der Admin die Komplexität von bringt kaum messbare Unterschiede – weitaus mehr Detailtiefe als Bonnie++. Ceph, bringt Lizard zwar kleine Perfor- mit Ausnahme für Ceph Rados, das noch Es liest und schreibt Dateien in unter- mance-Einbußen, den Admin aufgrund schneller arbeitet. schiedlichen Block- und Dateigrößen, des Setups aber schneller ans Ziel. Glus- Das Auslesen der Datenstrukturen lie- wobei das Schreiben mit »write()« und ter-FS bleibt bei den meisten Tests im fert kein einheitliches Messergebnis. Bei »fwrite()« erfolgt und vorwärts, zufällig Schatten, schiebt sich aber beim sequen-

Verteilte Dateisysteme Verteilte Ceph Rados verweigert Bonnie++ beim und überschrieben wird. Iozone liest ziellen Lesen von Zeichen vor. 26 linearen und zufälligen Lesen das Ergeb- zudem vorwärts, rückwärts und zufällig Im Iozone-Test hat Lizard-FS beim Lesen nis. Das passiert auch beim zufälligen und greift auch hier zu den Betriebssys- häufig die Nase vorn, aber nicht beim

- magazin.de Lesen mit Ceph-FS. Bei diesen Dateisyste- tem- und Bibliotheksaufrufen. Schreiben. Je mehr Blockgröße und Da- men ist die Posix-Konformität wohl nicht Im Schreibtest bestätigt Iozone im We- teigröße anwachsen, desto häufiger ent-

www.linux 100-prozentig gegeben. sentlichen die Ergebnisse von Bonnie++. scheidet Lizard das Rennen für sich oder Lizard gewinnt das lineare Lesen mit Aber es gibt auch Messwerte, bei denen landet zumindest auf einem Platz hinter rund 25 500 IOPS, gefolgt von Ceph-FS Ceph Rados vorne liegt. In den meisten Ceph-FS, aber noch vor Ceph Rados. mit etwa 16 400 IOPS und Gluster mit Fällen ist dies bei Operationen mit klei- Als traditionelle SDS-Alternative ließ der 15 400 IOPS. Beim zufälligen Lesen kom- nen Blockgrößen der Fall. Beim Lesen Autor NFS laufen, das sich gut schlug, men Lizard und Gluster nur noch auf liegt das Block Device bei den kleinen aber den verteilten Dateisystemen nicht eine Größenordnung niedrigere Mess- Blockgrößen fast durchgängig vorn, im unbedingt davonrannte. (kki) n werte (1378 IOPS für Lizard und 1285 mittleren Bereich führt Ceph-FS. Lizard- IOPS für Gluster). NFS hätte die Tests mit FS punktet in einigen Tests bei großen rund 25 900 IOPS (linear) und 5200 IOPS Dateien und Blockgrößen. Infos (zufällig) mit Abstand gewonnen. Eine Ausnahme bildet der Stride-Read- [1] Gluster-FS: [https://​­www.​­gluster.​­org] Bleibt noch das Löschen von Dateien. Test, in dem Iozone linear jeden sound- [2] Ceph: [http://​­ceph.​­com] Klarer Sieger (und wie beim Erzeugen sovielten Block liest (etwa 64 Byte ab [3] Lizard-FS: [https://​­lizardfs.​­com] vermutlich außer Konkurrenz) ist Ceph Block 1024 und so weiter). Hier gewinnt [4] Ceph-FS: [http://​­ceph.​­com/​­ceph‑storage/​ Rados mit etwa 12 900 linearen und Lizard auch bei kleinen Dateien und Da- ­file‑system/] 11 500 zufälligen IOPS. Die drei anderen teigrößen und erscheint in Abbildung 6 [5] Bonnie++: Kandidaten beherrschen das zufällige Lö- gelb eingefärbt. [http://​­www.​­coker.​­com.​­au/​­bonnie++/] schen jeweils besser als das lineare. Ein [6] Iozone: [http://​­www.​­iozone.​­org] Sieger ist zwischen ihnen nicht auszuma- Fazit [7] Epel-Repository: chen, Ceph-FS ist aber Letzter. Die Werte [https://​­fedoraproject.​­org/​­wiki/​­EPEL] im Einzelnen: Lizard (669 IOPS linear, Die Konfiguration gelang mit Gluster am [8] Ceph-Dokumentation: 1378 IOPS zufällig) Gluster (886 IOPS einfachsten, gefolgt von Lizard-FS. Ceph [http://​­docs.​­ceph.​­com/​­docs/​­master/​­start/] linear, 1285 IOPS zufällig), Ceph-FS (567 aufzusetzen forderte dem Tester etwas [9] »ceph‑deploy«: [http://​­docs.​­ceph.​­com/​ IOPS linear, 621 IOPS zufällig). größeren Aufwand ab. ­docs/​­jewel/​­rados/​­deployment/] Bei der Performance machen Ceph-FS In der Zone (Posix-Mounten) und Ceph Rados (Block Der Autor Device mit einem eigenen Dateisystem Konstantin Agouros arbeitet bei Xantaro Deutsch- Ergänzend zog der Tester noch Iozone versehen) im Linux-Magazin-Testlabor in land als Solutions Architect mit dem Schwerpunkt heran, das ihn mit einer großen Menge an den meisten Disziplinen die beste Figur. auf Netzwerk und Cloud Security sowie Automa- Daten versorgte. Abbildung 6 zeigt einen Ceph Rados zeigt einige Ausreißer nach tion. Sein Buch „Software Defined Networking, Ausschnitt. Im Gegensatz zu Bonnie++ oben, profitiert hier aber in Wirklichkeit SDN-Praxis mit Controllern und Open Flow“ er- beschränkt sich das Testwerkzeug auf nur vom Caching auf dem Client. scheint im Herbst bei De Gruyter.

Abbildung 6: Beim Stride-Read-Test von Iozone übernimmt Lizard-FS (gelb) bei kleineren Dateigrößen die Führung. Rot gefärbt ist Ceph-FS, grün Ceph Rados.