BRNO UNIVERSITY OF TECHNOLOGY VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ FACULTY OF MECHANICAL ENGINEERING FAKULTA STROJNÍHO INŽENÝRSTVÍ INSTITUTE OF PHYSICAL ENGINEERING ÚSTAV FYZIKÁLNÍHO INŽENÝRSTVÍ INTERCONNECTION OF RESTRICTED BOLTZMANN MACHINE METHOD WITH STATISTICAL PHYSICS AND ITS IMPLEMENTATION IN THE PROCESSING OF SPECTROSCOPIC DATA POPIS RESTRICTED BOLTZMANN MACHINE METODY VE VZTAHU SE STATISTICKOU FYZIKOU A JEHO NÁSLEDNÉ VYUŽITÍ VE ZPRACOVÁNÍ SPEKTROSKOPICKÝCH DAT MASTER'S THESIS DIPLOMOVÁ PRÁCE AUTHOR Bc. Jakub Vrábel AUTOR PRÁCE SUPERVISOR Ing. Pavel Pořízka, Ph.D. VEDOUCÍ PRÁCE BRNO 2019 Zadání diplomové práce Ústav: Ústav fyzikálního inženýrství Student: Bc. Jakub Vrábel Studijní program: Aplikované vědy v inženýrství Studijní obor: Fyzikální inženýrství a nanotechnologie Vedoucí práce: Ing. Pavel Pořízka, Ph.D. Akademický rok: 2018/19 Ředitel ústavu Vám v souladu se zákonem č.111/1998 o vysokých školách a se Studijním a zkušebním řádem VUT v Brně určuje následující téma diplomové práce: Popis Restricted Boltzmann machine metody ve vztahu se statistickou fyzikou a jeho následné využití ve zpracování spektroskopických dat Stručná charakteristika problematiky úkolu: Algoritmy strojového učení (především tzv. Hluboké učení) jsou bytostně prostoupeny fyzikálními zakonitostmi. Fyzika je v tomto ohledu využita nejen jako inspirace ke konstrukci, ale i jako nástroj k pochopení funkce daných modelů učení. Restricted Boltzmann Machines (RBM) je jedním z algoritmů umělých neuronových sítí bez učitele. Z historického vývoje, v roce 2006 Hinton (Hinton 2006) významně upozornil na neuronové sítě zavedením hlubokého učení. Aplikace RBM sahají od redukce dimenze přes klasifikaci až po feature learning, atd. Zpracování spektroskopických dat je předmětem výzkumu na rozmezí fyziky, matematiky a statistiky. Vícerozměrná data, naměřená např. využitím techniky Spektroskopie laserem buzeného plazmatu (Laser–Induced Breakdown Spectroscopy, LIBS), představují, co do objemu a komplexní struktury, náročný úkol pro klasické lineární algoritmy. Z toho důvodu je využití neuronových sítí hojně prosazováno i v oblasti spektroskopie. Optimalizace učícího algoritmu založeného na RBM v aplikaci laserové spektroskopie je pak unikátním a doposud neprozkoumaným řešením. Cíle diplomové práce: 1. Rešerše methods vycházejících ze statistické fyziky a jejich podobnost s Hlubokým učením, především RBM. 2. Přímé využití RBM pro redukci dimenze spektroskopických dat (emisní spektra z LIBS). 3. Srovnání schopností RBM a běžně používaných metod (PCA, …). Fakulta strojního inženýrství, Vysoké učení technické v Brně / Technická 2896/2 / 616 69 / Brno Seznam doporučené literatury: HINTON, G. E. Reducing the Dimensionality of Data with Neural Networks. Science. 313(5786), 504- 507 (2006). MIZIOLEK, A. W., PALLESCHI, V. a SCHECHTER, I. Laser Induced Breakdown Spectroscopy. Cambridge: Cambridge University Press (2006). Termín odevzdání diplomové práce je stanoven časovým plánem akademického roku 2018/19 V Brně, dne L. S. prof. RNDr. Tomáš Šikola, CSc. doc. Ing. Jaroslav Katolický, Ph.D. ředitel ústavu děkan fakulty Fakulta strojního inženýrství, Vysoké učení technické v Brně / Technická 2896/2 / 616 69 / Brno ABSTRACT In this work, connections between statistical physics and machine learning are stu- died with emphasis on the most basic principles and their implications. Also, the general properties of spectroscopic data are revealed and used beneficially for impro- ving automatized processing of the data. In the beginning, the partition function of a Boltzmann distribution is derived and used to study the Ising model utilizing the mean field theory approach. Later, the equivalence between the Ising model and the Hopfield network (machine learning model) is shown, along with an introduction for machine learning in general. At the end of a theoretical part, Restricted Boltzmann Machine (RBM) is obtained from the Hopfield network. Suitability of applying RBM to the processing of spectroscopic data is discussed and revealed by utilization of RBM to dimension reduction of the data. Results are compared to the standard tool (Principal Component Analysis), with discussing possible further improvements. KEYWORDS Machine Learning, LIBS, Spectroscopic Data, Artificial Neural Networks, Deep Lear- ning, Restricted Boltzmann Machine, RBM, Dimension Reduction, Statistical Phy- sics. ABSTRAKT Pr´aca sa zaober´a spojeniami medzi ˇstatistickou fyzikou a strojov´ym uˇcen´ım s d^orazomna z´akladn´eprinc´ıpy a ich d^osledky. Dalejˇ sa venuje obecn´ymvlastnos- tiam spektroskopick´ych d´ata ich zohl'adnen´ıpri pokroˇcilom spracovan´ıd´at.Zaˇciatok pr´aceje venovan´yodvodeniu partiˇcnejsumy ˇstatistick´ehosyst´emu a ˇst´udiuIsingo- vho modelu pomocou "mean field” pr´ıstupu.N´asledne,popri z´akladnom´uvode do strojov´ehouˇcenia,je uk´azan´aekvivalencia medzi Isingov´ymmodelom a Hopfieldovou siet'ou - modelom strojov´ehouˇcenia.Na konci teoretickej ˇcastije z Hopfieldovej siete odvoden´ymodel Restricted Boltzmann Machine (RBM). Vhodnost' pouˇzitiaRBM na spracovanie spektroskopick´ych d´atje diskutovan´aa preuk´azan´ana zn´ıˇzen´ıdimen- zie t´ychto d´at.V´ysledky s´uporovnan´es beˇznepouˇz´ıvanou Met´odou Hlavn´ych Kom- ponent (PCA), spolu so zhodnoten´ımpr´ıstupua moˇznost'ami d'alˇsiehozlepˇsovania. KL´ICOVˇ A´ SLOVA Strojov´euˇcenie,LIBS, spektroskopick´ed´ata,Neuronov´esiete, hlbok´euˇcenie,RBM, redukcia dimenzie. VRABEL,´ Jakub Interconnection of Restricted Boltzmann machine method with statistical physics and its implementation in the processing of spectroscopic data: master's thesis. Brno: Brno University of Technology, Faculty of Mechanical En- gineering, Institute of Physical Engineering, 2019. 85 p. Supervised by Ing. Pavel Poˇr´ızka, Ph.D. DECLARATION I declare that I have elaborated my master's thesis on the theme of \Intercon- nection of Restricted Boltzmann machine method with statistical physics and its implementation in the processing of spectroscopic data" independently, under the supervision of the master's thesis supervisor and with the use of technical literature and other sources of information which are all quoted in the thesis and detailed in the list of literature at the end of the thesis. As the author of the master's thesis I furthermore declare that, concerning the creation of this master's thesis, master's thesis, I have not infringed any copyright. In particular, I have not unlawfully encroached on anyone's personal copyright and I am fully aware of the consequences in the case of breaking Regulation x 11 and the following of the Copyright Act No 121/2000 Vol., including the possible consequences of criminal law resulted from Regulation x 152 of Criminal Act No 140/1961 Vol. Brno . ................................... (author's signature) Acknowledgement In the first place, I would like to thank my parents and family for support during my studies. Also, I want to thank my supervisor Dr. Pavel Poˇr´ızka, for suggestions to the thesis and introducing me to the scientific work. Furthermore, I am thankful to colleagues (DP, EK, JK) from the group for fruitful discussions and cooperation on various projects. Bc. Jakub Vr´abel CONTENTS Introduction1 1 Statistical physics5 1.1 Liouville's theorem............................7 1.2 Energy...................................8 1.2.1 Density of states.........................9 1.2.2 Gibbs canonical ensemble.................... 10 1.2.3 Partition function......................... 13 1.2.4 Boltzmann distribution...................... 14 1.2.5 Grand canonical ensemble.................... 16 1.2.6 Statistical description of identical particles........... 16 2 Statistical physics of fields 19 2.1 Lattice models............................... 19 2.1.1 Ising model............................ 20 2.2 Mean Field Theory (MFT)........................ 21 2.2.1 Variational Free Energy Minimization.............. 22 3 Spectroscopic Data 25 3.1 Laser-Induced Breakdown Spectroscopy (LIBS)............ 27 4 Machine Learning 29 4.1 Model and Cost Function........................ 30 4.1.1 Gradient Descent......................... 32 4.1.2 Maximum Likelihood Estimation (MLE)............ 35 4.1.3 Logistic Regression........................ 36 4.2 Artificial Neural Networks (ANN).................... 36 4.2.1 Deep Learning........................... 39 4.3 Regularization techniques........................ 39 4.4 Supervised Learning........................... 40 4.5 Unsupervised Learning.......................... 41 4.5.1 Principal Component Analysis (PCA).............. 42 4.5.2 Dimension and Clustering.................... 43 5 Interconnection of ML with Statistical Physics 45 5.1 Hopfield Networks............................ 45 5.2 Boltzmann Machines........................... 46 5.3 Restricted Boltzmann Machine (RBM)................. 47 6 Dimensionality reduction of the spectroscopic data 49 6.1 Samples, experiment, data........................ 50 6.1.1 Measurement........................... 51 6.1.2 Application of the RBM..................... 51 6.1.3 Further plans........................... 57 7 Conclusion 59 List of appendices 61 A Backpropagation method 63 B LIBS: physics, instrumentation and applications 65 B.1 Laser-Matter Interaction......................... 65 B.2 Laser Induced Plasma (LIP)....................... 67 B.3 LIP Emission............................... 69 B.3.1 Spectral Lines........................... 73 B.3.2 Plasma temperature estimation................. 77 B.4 Instrumentation and Experiments.................... 79 B.4.1 Basic data processing......................