Unified Synchronized Data Acquisition Networks
Total Page:16
File Type:pdf, Size:1020Kb
UNIFIED SYNCHRONIZED DATA ACQUISITION NETWORKS Inauguraldissertation zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften der Universität Mannheim vorgelegt von Frank Karl Wolfgang Gerhard Rolf Lemke (Diplom-Informatiker im Integrierten Diplomstudiengang Mathematik und Informatik) aus Mutterstadt Mannheim, 2012 Dekan: Professor Dr. H. J. Müller, Universität Mannheim Referent: Professor Dr. U. Brüning, Universität Heidelberg Korreferent: Professor Dr. R. Männer, Universität Heidelberg Tag der mündlichen Prüfung: 30.11.2012 Abstract The permanently evolving technical area of communication technology and the presence of more and more precise sensors and detectors, enable options and solutions to challenges in science and industry. In high-energy physics, for example, it becomes possible with accu- rate measurements to observe particles almost at the speed of light in small-sized dimen- sions. Thereby, the enormous amounts of gathered data require modern high performance communication networks. Potential and efficient implementation of future readout chains will depend on new concepts and mechanisms. The main goals of this dissertation are to create new efficient synchronization mechanisms and to evolve readout systems for optimization of future sensor and detector systems. This happens in the context of the Compressed Baryonic Matter experiment, which is a part of the Facility for Antiproton and Ion Research, an international accelerator facility. It extends an accelerator complex in Darmstadt at the GSI Helmholtzzentrum für Schwerionenfors- chung GmbH. Initially, the challenges are specified and an analysis of the state of the art is presented. The resulting constraints and requirements influenced the design and development described within this dissertation. Subsequently, the different design and implementation tasks are dis- cussed. Starting with the basic detector read system requirements and the definition of an efficient communication protocol. This protocol delivers all features needed for building of compact and efficient readout systems. Therefore, it is advantageous to use a single unified connection for processing all communication traffic. This means not only data, control, and synchronization messages, but also clock distribution is handled. Furthermore, all links in this system have a deterministic latency. The deterministic behavior enables establishing a synchronous network. Emerging problems were solved and the concept was successfully implemented and tested during several test beam times. i In addition, the implementation and integration of this communication methodology into different network devices is described. Therefore, a generic modular approach was created. This enhances ASIC development by supporting them with proven hardware IPs, reducing design time, and risk of failure. Furthermore, this approach delivers flexibility concerning data rate and structure for the network system. Additionally, the design and prototyping for a data aggregation and concentrator ASIC is described. In conjunction with a dense electri- cal to optical conversion, this ASIC enables communication with flexible readout structures for the experiment and delivers the planned capacities and bandwidth. In the last part of the work, analysis and transfer of the created innovative synchronization mechanism into the area of high performance computing is discussed. Finally, a conclusion of all reached results and an outlook of possible future activities and research tasks within the Compressed Baryonic Matter experiment are presented. ii Zusammenfassung Mit der sich ständig beschleunigenden technischen Entwicklung im Bereich der Rechner- kommunikation sowie immer genauer werdenden Sensoren und Detektoren ergeben sich neue Möglichkeiten und Lösungsansätze für viele Herausforderungen in der Wissenschaft und Industrie. Im Bereich der Hochenergiephysik beispielsweise wird, es möglich, immer genauere Messungen von Teilchen mit annähernd Lichtgeschwindigkeit auf engstem Raum durchzuführen. Die hierbei anfallenden enormen Datenmengen benötigen moderne Hochleistungsnetzwerke. Die optimale Umsetzung zukünftiger Ausleseketten erfordert neue Konzepte und Mechanismen. Diese Arbeit widmet sich dem Ziel, neue effiziente Synchronisationsmechanismen sowie Auslesesysteme zu entwickeln, um zukünftige Sensor- und Detektorsysteme zu optimieren. Dies geschieht im Kontext des Compressed-Baryonic-Matter-Experiments, welches ein Teil der Facility for Antiproton and Ion Research ist, einer internationalen Beschleunigeran- lage zur Forschung mit Antiprotonen und Ionen. Es handelt sich hierbei um eine Erweite- rung des in Darmstadt bestehenden Beschleunigers der GSI Helmholtzzentrum für Schwer- ionenforschung GmbH. Zunächst befasst sich die Arbeit mit der Beschreibung und Analyse der Problemstellung sowie dem Stand der Technik. Hieraus ergeben sich Randbedingungen und Erkenntnisse, die alle folgenden Entwicklungen beeinflusst haben. Anschließend werden die einzelnen Entwurfs- und Entwicklungsschritte beschrieben. Begonnen wird mit der Analyse der Grundlagen für ein optimiertes Detektorauslesenetzwerk. Dem schließt sich die Beschrei- bung des Designs eines effizienten Kommunikationsprotokolls an, welches alle erforderli- chen Fähigkeiten aufweisen muss. Um kompakte und effiziente Systeme bauen zu können, sollten alle benötigten Funktionen nur über einen Kommunikationskanal zur Verfügung ste- hen. Dieser Kanal dient nicht nur zum Austausch von Daten, sondern ermöglicht auch eine Taktverteilung. Ferner werden Links mit deterministischer Latenz verwendet, da es mit iii einem deterministischen Verhalten möglich ist, eine Synchronisation über diesen Kanal auf- zubauen. Auf Basis dieser Grundlagen wurde ein Protokoll definiert, das drei virtuelle Kommunikationsklassen zur Verfügung stellt: die Daten-, Kontroll- und Synchronisations- kommunikation. Dieses Konzept wurde erfolgreich umgesetzt, aufkommende Probleme wurden gelöst, und die Tauglichkeit durch zahlreich Teststrahlzeiteinsätz bewiesen. Darüber hinaus wird auf die Implementation und Integration in unterschiedliche Netzwerk- komponenten eingegangen. Zunächst wird das generische modulare Konzept erläutert. Dieses ermöglicht es, vor allem in ASIC-Entwicklungen bereits getestete, funktionierende Hardwarekomponenten zu verwenden, um Entwicklungszeit und Risiken zu minimieren. Außerdem erlaubt das Konzept einen flexiblen Einbau von Detektorauslese-ASICs mit ver- schieden Datenraten in einem Auslesenetzwerk. Ferner werden das Design und die Prototy- pentwicklung für einen Datenaggregations- und Konzentrator-ASIC diskutiert. Dieser ASIC ermöglicht in Kombination mit einer dichten räumlichen, elektrisch-optischen Kom- munikationsumsetzung den Aufbau eines Auslesenetzwerks für das Compressed-Bary- onic-Matter-Experiment, mit dem sich die volle geplante Kapazität erreichen lässt. Am Ende wird der erschaffene innovative Synchronisationsmechanismus auf das Gebiet des Höchstleistungsrechnens übertragen, und seine Vorteile werden erläutert. Die Arbeit schließt mit einer Zusammenfassung der erreichten Entwicklungen sowie einem Ausblick auf mögliche zukünftige Forschungsaufgaben und Projekte im Kontext des Compressed- Baryonic-Matter-Experiments ab. iv Acknowledgments First, I would like to thank Professor Dr. Brüning for giving me the opportunity for doing this research work at the Computer Architecture Group. Without his support and advice, this work would not have been possible. In addition, my thanks go to all of my colleagues at the Computer Architecture Group for creating a pleasant and productive working atmosphere and all groups we worked together from the CBM Collaboration for the good cooperation. Especially thanks go to Walter F.J. Mueller for his outstanding support and for the numerous fruitful discussions that we had together. Finally, special thanks go to my family and friends for always supporting me. v vi Content Abstract ....................................................................................................................i Zusammenfassung ................................................................................................. iii Acknowledgments ...................................................................................................v Content ..................................................................................................................vii 1. Introduction 1 1.1 Motivation .............................................................................................................3 1.2 Design Challenges .................................................................................................5 1.3 The Compressed Baryonic Matter Experiment .....................................................6 1.4 Chapter outline ......................................................................................................9 2. Design Space 11 2.1 Basic DAQ Structure and Abilities .....................................................................13 2.2 Network Topology ...............................................................................................14 2.3 State of the Art .....................................................................................................16 2.3.1 SONET / SDH ..............................................................................................16 2.3.2 Common network timing protocols .............................................................21 2.3.3 White Rabbit ................................................................................................25