ARISTOTLE UNIVERSITY OF THESSALONIKI FACULTY OF SCIENCES SCHOOL OF INFORMATICS Computing Architectures exploiting Optical Interconnect and Optical Memory Technologies DOCTORAL THESIS Pavlos Maniotis Submitted to the School of Informatics of Aristotle University of Thessaloniki Thessaloniki, November 2017 Advisory Committee: N. Pleros, Assistant Professor, A.U.TH. (Supervisor) A. Miliou, Associate Professor, A.U.TH. K. Tsichlas, Lecturer, A.U.TH. Examination Committee: A. Gounaris, Assistant Professor, A.U.TH. A. Miliou, Associate Professor, A.U.TH. G. Papadimitriou, Professor, A.U.TH. A. Papadopoulos, Associate Professor, A.U.TH. N. Pleros, Assistant Professor, A.U.TH. K. Tsichlas, Lecturer, A.U.TH. K. Vyrsokinos, Lecturer, A.U.TH. i Copyright © 2017 Pavlos Maniotis Η έγκρισή της παρούσας Διδακτορικής διατριβής από το τμήμα Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης δεν υποδηλώνει αποδοχή των γνωμών του συγγραφέως. (Ν. 5343/1932, αρ. 202, παρ. 2) iii Ευχαριστίες Η παρούσα διδακτορική διατριβή αποτελεί τον καρπό των ερευνητικών εργασιών μου που πραγματοποιήθηκαν κατά τη διάρκεια της συμμετοχής μου στην ερευνητική ομάδα των Υωτονικών ΢υστημάτων και Δικτύων (Photonic Systems and Networks – PhoS-net) του τμήματος Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. ΢το σημείο αυτό, έχοντας πλέον ολοκληρώσει τη συγγραφή του τεχνικού κειμένου που ακολουθεί, θέλω να εκφράσω τις ειλικρινείς μου ευχαριστίες προς τα πρόσωπα των ανθρώπων που με την καθοδήγηση τους, τις συμβουλές τους αλλά και τη στήριξη τους συνέβαλαν στην πραγματοποίηση της παρούσας διατριβής. Πρώτα από όλους, θέλω να ευχαριστήσω ολόψυχα τον επιβλέποντα της διδακτορικής μου διατριβής κ. Νίκο Πλέρο, Επίκουρο Καθηγητή του τμήματος Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Η οκταετής και πλέον γνωριμία-συνεργασία μας ξεκινά πίσω στο 2009, όταν και ανέλαβα να εκπονήσω την πτυχιακή μου εργασία ως προπτυχιακός φοιτητής υπό την επίβλεψη του. Ειλικρινά, ποτέ μου δεν είχα φανταστεί κατά την πρώτη μας γνωριμία πως θα έφτανε κάποτε η στιγμή που θα ολοκλήρωνα τη διδακτορική μου διατριβή υπό την επίβλεψη του, μία στιγμή που κουβαλά μαζί της χαρά και ικανοποίηση όχι μόνο για τους στόχους που έχουμε πετύχει αλλά και για τις ωραίες στιγμές που έχουμε περάσει. ΢ε επαγγελματικό επίπεδο, ο κ. Νίκος Πλέρος αποτελεί αδιαμφισβήτητα πρότυπο ακαδημαϊκού ερευνητή-καθηγητή καθώς τον χαρακτηρίζει το τρίπτυχο της εργατικότητας, της ευρύτητας επιστημονικών γνώσεων και το πιο σημαντικό της αγάπης προς αυτό που κάνει. ΢ε προσωπικό επίπεδο, ο κ. Νίκος Πλέρος αποτελεί πρότυπο καλού φίλου, πράγμα εύκολο να το διαπιστώσει κανείς αν τον γνωρίσει προσωπικά. Νίκο, σου εύχομαι ολόψυχα κάθε ευτυχία στη ζωή σου! Σις θερμές μου ευχαριστίες θέλω επίσης να εκφράσω προς την κα Αμαλία Μήλιου, Αναπληρώτρια Καθηγήτρια του τμήματος Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Η κα Αμαλία Μήλιου χαρακτηρίζεται τόσο από επιστημονική αρτιότητα όσο και από ακεραιότητα χαρακτήρα και την ευχαριστώ για όλες τις εποικοδομητικές συζητήσεις που έχουμε κάνει καθώς επίσης και για τις χρήσιμες συμβουλές που μου έχει δώσει. Σης εύχομαι κάθε επιτυχία σε όλους τους τομείς. Πέρα από τους καθηγητές μου, θέλω επίσης να ευχαριστήσω τους ανθρώπους με τους οποίους συνεργάστηκα συστηματικά όλα αυτά τα χρόνια. Ευχαριστώ θερμά τον κ. Κωνσταντίνο Βυρσωκινό, Λέκτορα του τμήματος Υυσικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης, για τη βοήθεια που μου προσέφερε κατά τη διαδικασία εκμάθησης του λογισμικού προσομοίωσης VPI Photonics κατά τα πρώτα στάδια της v διατριβής μου. Επίσης, ευχαριστώ θερμά τον κ. Γεώργιο Κανέλλο, Λέκτορα του πανεπιστημίου του Bristol, τόσο για την καθοδήγηση που μου έδωσε σχετικά με τη σχεδίαση των κυκλωμάτων οπτικής μνήμης όσο και για όλες τις εποικοδομητικές συζητήσεις που έχουμε κάνει κατά τη διάρκεια της διατριβής μου. Ευχαριστώ επιπλέον το μεταδιδακτορικό ερευνητή Δρ. ΢άββα Γκιτζένη τόσο για τις συζητήσεις μας όσο και για τις συμβουλές του πάνω σε διάφορα ζητήματα που αφορούν τις αρχιτεκτονικές των σύγχρονων επεξεργαστικών συστημάτων. Θέλω επίσης να ευχαριστήσω το μεταδιδακτορικό ερευνητή Δρ. Δημήτρη Σσιώκο τόσο για τις επιστημονικές του συμβουλές όσο και για την άψογη συνεργασία μας. Εύχομαι σε όλους τους ολόψυχα να έχουν κάθε επιτυχία στη ζωή τους. ΢ε αυτό το σημείο θέλω να ευχαριστήσω θερμά το στενό μου συνεργάτη Νίκο Σερζενίδη για την άψογη συνεργασία μας γύρω από τη μελέτη της απόδοσης των δικτύων που χρησιμοποιούνται στα συστήματα υπερυπολογιστών και του εύχομαι πολλές επιτυχίες και γρήγορη ολοκλήρωση της διατριβής του. Πάντα θα θυμάμαι με γέλιο τις όμορφες στιγμές που περάσαμε στην Τπόγα και στο Υόρουμ! Αναπόσπαστο μέρος των στιγμών στο Υόρουμ αποτέλεσαν και οι συνεργάτες Γιώργος Κάλφας και ΢τέλλα Μάρκου τους οποίους και ευχαριστώ για τις εποικοδομητικές συζητήσεις και για τις ωραίες στιγμές που περάσαμε παρέα. Από τις ωραίες στιγμές δε λείπουν φυσικά οι συνεργάτες Θεόνη Αλεξούδη, ΢ωτήρης Παπαϊωάννου και Δημήτρης Υίτσιος, τους οποίους και ευχαριστώ για τη συνεργασία μας κατά τα χρόνια της συνύπαρξης μας στην ομάδα του PhoS-net. Επιπλέον, ένα ευχαριστώ σε όλους τους συντελεστές της προσπάθειας που σημειώνεται καθημερινά στους χώρους του PhoS-net, στη Φαρούλα Μητσολίδου, στο ΢τέλιο Πίτρη, στο Μίλτο Μόραλη, στο Γιώργο Ντάμπο, στην Ευαγγελία Φατζηαναγνώστου, στη Δήμητρα Κετζάκη και στο Φρήστο Βαγιωνά, αλλά και στα νεότερα ακόμα μέλη της ομάδας Γιώργο Μουργιά, Θανάση Μανώλη και Σόλη Σσακυρίδη. Σους εύχομαι ολόψυχα κάθε επιτυχία στη ζωή τους. Από τον εξωπανεπιστημιακό κύκλο, θέλω να ευχαριστήσω όλους τους φίλους που ήταν και είναι εκεί και με τους οποίους έχουμε περάσει ξένοιαστες στιγμές όλα αυτά τα χρόνια. Κλείνοντας, θέλω σε αυτό το σημείο να ευχαριστήσω τους πιο κοντινούς μου ανθρώπους που αποτέλεσαν και τους συμπαραστάτες της όλης μου προσπάθειας. Σο μεγαλύτερο ευχαριστώ αξίζει βεβαίως στην οικογένεια μου, στους γονείς μου Παναγιώτη και Ρεβέκα, και στα αδέρφια μου Παντελή και Θεοδώρα, που ήταν και είναι πάντα εκεί για να στηρίξουν με κάθε τρόπο την όποια προσπάθεια μου. ΢τον αγαπημένο μου αδερφό Παντελή, που πρόσφατα έκλεισε τον πρώτο του χρόνο σαν υποψήφιος διδάκτορας, θέλω ιδιαιτέρως να του ευχηθώ πολλές επιτυχίες στις σπουδές του και γρήγορη ολοκλήρωση της διατριβής του! Με τιμή, Παύλος Μανιώτης vi Abstract Abstract The unprecedented evolution of modern High Performance Computing Systems along with the predictions and expectations for exascale computing by near future have introduced the need for revising the internal interconnect and compute technologies and architectures towards meeting the demands of future computing systems. In this framework, optical interconnects and photonic integration technology fields emerge as promising alternative solutions for future computing environments by replacing conventional interconnects and circuitry with alternative high-bandwidth optical solutions. The research efforts of this thesis build upon the emerging optical interconnect technology aiming at resolving the long-standing “Bandwidth” and “Memory-Wall” problems and enabling exascale processing powers within the available energy boundaries. This thesis proposes new optical systems that exploit Optical Interconnect and Optical Memory Technologies and synergizes them with processors in innovative Computing Architectures for increasing bandwidth and reducing energy consumption. The novel optically-enabled concepts proposed in this thesis are spanning from complete High Performance Computing network environments down to chip-scale multi-core computing architectures. At first, OptoHPC-Sim simulation platform is demonstrated which supports the system-scale utilization of novel electro-optical boards and routing technologies in complete and fully operational High Performance Computing network architectures. OptoHPC-Sim can effectively simulate optically enabled High Performance Computing network configurations and reliably compare them with conventional ones while at the same time incorporates a representative set of predefined modules that include all the recent advances around the Electro-Optical Printed Circuit Boards technology. OptoHPC-Sim forms an open tool targeting the adoption of Optical Technologies in future High Performance Computing configurations and can effectively support the architectural and technology decision making on the way to the exascale era. By using OptoHPC-Sim, an optical board-based High Performance Computing network architecture is proposed with the respective comparative simulation analysis demonstrating up to 190% mean throughput improvement and 83% mean packet delay reduction compared to world‟s #3 Titan CRAY XK7 High Performance Computer network configuration. Extending the use of optics from complete High Performance Computing to chip-level environments, this thesis demonstrates via physical layer simulations a complete optical vii Abstract cache memory layout that operates at speeds up to 16 Gb/s, which is significantly faster compared to any of the conventional technologies. The proposed cache memory layout offers a significant leap forward for optical memory technologies that by so far have been restricted to single-bit capacity layouts. Besides the memory elements, all the layouts for the necessary subsystems are being presented, introducing at the same time Wavelength Division Multiplexing in the memory domain. These subsystems include (a) an optical interface module that is used for translating the wavelength-formatted data and address fields between the processor and the cache memory unit, (b) a Read/Write Selector for