Herconfigureerbare optische interconnectienetwerken voor multiprocessorarchitecturen met gedeeld geheugen Reconfigurable Optical Interconnection Networks for Shared-Memory Multiprocessor Architectures Wim Heirman Promotoren: prof. dr. ir. J. Van Campenhout, prof. dr. ir. D. Stroobandt Proefschrift ingediend tot het behalen van de graad van Doctor in de Ingenieurswetenschappen: Computerwetenschappen Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. dr. ir. J. Van Campenhout Faculteit Ingenieurswetenschappen Academiejaar 2007 - 2008 ISBN 978-90-8578-215-5 NUR 959, 986 Wettelijk depot: D/2008/10.500/34 The larger the island of knowledge, the longer the shoreline of mystery. — Mary B. Yates Acknowledgements Quite a number of people have contributed in one way or another to the creation of this dissertation. I wish to thank them warmly for their support or participation. Specific thanks go out to: • My promotors prof. Jan Van Campenhout en prof. Dirk Stroobandt, for giving me the opportunity to spend five wonderful years of my life working in a dynamic and challenging field, here in Ghent and at the various conferences I could attend; and for the valuable input both on this dissertation and on various matters in the years before, at all levels of abstraction ranging from the smallest of language issues to our place in the universe. • My supervisor dr. Joni Dambre, for the many hours of discussion, the hundreds of pages of corrected manuscripts, and for guiding me in the best possible way: leaving me free to find my own way, but always asking that most important question: Why? • The other members of the examination commission of this dissertation: prof. Daniël De Zutter, prof. Ian O’Connor, prof. Dries Van Thourhout and dr. Christof Debaes; and the many anonymous reviewers of my papers, both those accepted and rejected, who have provided a most valuable asset: the outsider’s view. • Jeroen Beeckman, Alan Benner, Mark Horowitz, David Patterson who helped me out with some of the figures and references in this work. • The people from Virtutech, who created the simulation tool Simics without which this research would not have been possible, and every- one on their users forum for helping me get started. ii Acknowledgements • Everyone involved in the IAP-V and -VI networks and the doc- toral schools: frequent contact with research groups doing the actual physics, and designing optical components and optical interconnection links, proved very valuable to provide me with background informa- tion and kept me in touch with the developments on those fronts. Since my primary training was in computer architecture, their importance can hardly be overstated. • The people from the Vrije Universiteit Brussel, department TONA- TW, especially prof. Hugo Thienpont, dr. Christof Debaes, dr. Lieven Desmet and ir. Iñigo Artundo, who as members of the IAP network contributed to the above, and who are involved in the design and building of the SOB system implementation, in a work of simulations my (at times only) link to the “real” world. • Iñigo “Goto” Artundo again, with whom I collaborated most closely during the last five years. Without his frequent input and reflections on our common research I would probably have given up a long time ago. Our joint publications are numerous, our conference trips legendary. • dr. Bui Viet Khoi of the Hanoi University of Technology, Vietnam, for the invitation to an unforgettable stay in his magnificent country, among other things. • My colleagues from the PARIS research group, both present and past, for the much appreciated scientific input and the pleasant work envi- ronment. I cannot mention all of them here, but to omit David, Fre- derik, Hendrik, Jeroen, Juan, Lieven, Michiel, Michiel, Michiel, Peter, Phillipe, Tom, Sean or Wim would be a disgrace! • Jorge Cham, Randall Munroe and Scott Adams for the necessary mo- ments of procrastination. • Catherine, Ben, Peter, Wouter and all my other friends of MaSAC, for sticking with me even when my simulations did not. • My parents, my brother and family, for their support throughout the years, giving me the opportunity to become who I am today. • And, of course, my dearest Ine, for so many things. Examination commission prof. dr. ir. Daniël De Zutter Chairman Dean, Faculty of Engineering dr. ir. Joni Dambre Secretary ELIS Department, Faculty of Engineering dr. ir. Christof Debaes TONA Department, Faculty of Applied Sciences Vrije Universiteit Brussel prof. dr. ir. Ian O’Connor Lyon Institute of Nanotechnology Ecole Centrale de Lyon, Ecully, France prof. dr. ir. Dries Van Thourhout INTEC Department, Faculty of Engineering prof. dr. ir. Jan Van Campenhout Advisor ELIS Department, Faculty of Engineering prof. dr. ir. Dirk Stroobandt Advisor ELIS Department, Faculty of Engineering Samenvatting Parallelle verwerking in computersystemen groeit aan belang. Daar waar de toepassing ervan vroeger beperkt bleef tot supercomputers en grote web- of databank-servers, brengt de multicore processor parallelle verwerking naar desktop PC’s, laptops en spelconsoles. Om al deze processors op een nuttige manier aan het werk te zetten aan één enkel probleem, moeten ze kunnen communiceren. Hiertoe worden de processors met elkaar, en met de buitenwereld, verbonden door middel van een interconnectienetwerk. Van dit netwerk wordt verwacht dat het hoge bandbreedte en lage latentie ver- zorgt, zodat de processors zich kunnen concentreren op het verzetten van nuttig werk, en niet moeten wachten op het binnensijpelen van gegevens. Echter, huidige interconnectietechnologieën, die gebruik maken van elek- tronische signalen verstuurd over koperdraden, bereiken snel het einde van hun mogelijkheden. Optische interconnecties zijn een mogelijke oplossing voor dit probleem, en worden momenteel onderzocht in onderzoeks- en industriële laboratoria, inclusief die van grote spelers zoals IBM en Intel. Verwachtwordt dat optisch communicerende multiprocessors binnen enkele jaren op de markt zullen komen. Multicore processorchips, met optische verbindingen geïntegreerd op de chip zelf, kunnen volgen binnen vijf à tien jaar. Herconfigureerbare netwerken lossen een ander probleem van intercon- nectienetwerken op. Het verkeer op deze netwerken is meestal sterk niet- uniform, waardoor sommige verbindingen sterk verzadigd zijn terwijl an- dere nauwelijks gebruikt worden. De precieze patronen hangen bovendien sterk af van de toepassing, en kunnen zelfs veranderen tijdens de uitvoe- ring van eenzelfde programma. Dit maakt het zeer moeilijk een efficiënte vi Samenvatting architectuur te definiëren, die hoge prestaties toelaat maar die niet gedimen- sioneerd is voor de meest veeleisende verkeerspatronen – dit laatste zou tot een zeer duur, sterk overgedimensioneerd netwerk leiden dat in de meeste gevallen onderbenut wordt. Gelukkig laten optische interconnecties, die in de nabije toekomst zeer waarschijnlijk toch geïntroduceerd zullen worden, toe om herconfigureer- bare netwerken te maken. Die kunnen, tijdens de loop van het programma, op een transparante manier aangepast worden aan het momentele verkeers- patroon. Dit is mogelijk dankzij nieuwe optische componenten, zoals lasers met variabele golflengte, vloeibare-kristalschakelaars, enz. Deze thesis richt zich op het toepassen van herconfigureerbare, optische verbindingen in de context van multiprocessors met gedeeld geheugen. In dit soort van machines is communicatie impliciet, en gebeurt dus zonder interventie van de programmeur of de compiler. Machines met gedeeld geheugen zijn daardoor eenvoudig te programmeren, doordat de program- meur geen intieme kennis moet hebben van de implementatiedetails van de machine. Dit soort machines zijn echter wel sterker beïnvloed door een hoge netwerklatentie. Technieken die het mogelijk maken om communicatie te overlappen met nuttige berekeningen, welke regelmatig worden toegepast in message-passing architecturen, zijn hier immers niet mogelijk doordat niet op voorhand bekend is wanneer communicatie nodig zal zijn. Machines met gedeeld geheugen hebben daardoor het meeste baat bij herconfigureerbare netwerken, die precies bedoeld zijn om een lagere latentie aan te bieden. Eén probleem in deze is echter de snelheid waarmee het netwerk ge- herconfigureerd kan worden. Idealiter zou het netwerk voor elke aanvraag opnieuw ingesteld kunnen worden zodat het steeds een minimale latentie kan aanbieden. De beschikbare optische componenten laten dit echter niet toe. We gingen daarom op zoek naar lokaliteit in de communicatiestromen, en vonden dat netwerkverkeer dikwijls gedurende langere perioden rela- tief constant blijft. Dit feit kan uitgebuit worden door herconfiguratie: de beschikbare bandbreedte wordt dan zó verdeeld dat de meest volumineuze stromen de snelste verbindingen kunnen gebruiken. De totale latentie ver- mindert hierdoor significant. Dit alles kan gebeuren in een automatische, voor de software onzichtbare manier, wat in lijn blijft met de abstractie van gedeeld geheugen die de programmeur isoleert van de implementatiedetails van de onderliggende machine. Verkeerspatronen. Vermits herconfiguratie noodzakelijkerwijs verloopt op een tijdsschaal die trager is dan individuele geheugentoegangen, is de trage dynamica van netwerkverkeer heel belangrijk voor dit werk. Het is be- Samenvatting vii kend dat geheugentoegangen lokaliteit bezitten, zowel in de ruimte als in de tijd, en dat dit geldt op een fractale manier. Deze lokaliteit wordt uitgebuit door caches, die recent gebruikte gegevens in een klein en snel geheugen houden – omdat de kans