Department of Signal Processing and Acoustics Aalto-DD Jan Oksanen Oksanen Jan 169 Machine learning methods / 2016 for spectrum exploration Machine learning methods for spectrum exploration and exploitation and exploitation Machine learning methods for spectrum exploration and exploitation Jan Oksanen 9HSTFMG*agjicb+ 9HSTFMG*agjicb+ ISBN 978-952-60-6982-1 (printed) BUSINESS + ISBN 978-952-60-6981-4 (pdf) ECONOMY ISSN-L 1799-4934 ISSN 1799-4934 (printed) ART + ISSN 1799-4942 (pdf) DESIGN + ARCHITECTURE University Aalto Aalto University School of Electrical Engineering SCIENCE + Department of Signal Processing and Acoustics TECHNOLOGY www.aalto.fi CROSSOVER DOCTORAL DOCTORAL DISSERTATIONS DISSERTATIONS 2016 Aalto University publication series DOCTORAL DISSERTATIONS 169/2016 Machine learning methods for spectrum exploration and exploitation Jan Oksanen A doctoral dissertation completed for the degree of Doctor of Science (Technology) to be defended, with the permission of the Aalto University School of Electrical Engineering, at a public examination held at the lecture hall S3 of the school on the 30th of September 2016 at 12 noon. Aalto University School of Electrical Engineering Department of Signal Processing and Acoustics Supervising professor Prof. Visa Koivunen, Aalto University, Finland Thesis advisor Prof. Visa Koivunen, Aalto University, Finland Preliminary examiners Prof. Lifeng Lai, Worcester Polytechnic Institute, USA Prof. Osvaldo Simeone, New Jersey Institute of Technology, USA Opponents Prof. Rick S. Blum, Lehigh University, USA Prof. Jean-Marie Gorce, National Institute of Applied Sciences (INSA) Lyon, France Aalto University publication series DOCTORAL DISSERTATIONS 169/2016 © Jan Oksanen ISBN 978-952-60-6982-1 (printed) ISBN 978-952-60-6981-4 (pdf) ISSN-L 1799-4934 ISSN 1799-4934 (printed) ISSN 1799-4942 (pdf) http://urn.fi/URN:ISBN:978-952-60-6981-4 Unigrafia Oy Helsinki 2016 Finland Abstract Aalto University, P.O. Box 11000, FI-00076 Aalto www.aalto.fi Author Jan Oksanen Name of the doctoral dissertation Machine learning methods for spectrum exploration and exploitation Publisher School of Electrical Engineering Unit Department of Signal Processing and Acoustics Series Aalto University publication series DOCTORAL DISSERTATIONS 169/2016 Field of research Signal processing for communications Manuscript submitted 18 May 2016 Date of the defence 30 September 2016 Permission to publish granted (date) 21 June 2016 Language English Monograph Article dissertation Essay dissertation Abstract The current rigid proprietary licensing of the radio spectrum has created a shortage of wireless bandwidth. Cognitive radios have the potential for more flexible spectrum sharing by means of opportunistic spectrum access (OSA). In OSA secondary spectrum users would be allowed to access licensed frequency bands unused either temporally or spatially by the incumbent users. In order to identify such spectrum opportunities, the secondary users need to employ spectrum sensing together with policies that guide the sensing and access over a possibly wide range of frequencies. These policies need to be adaptive to changing radio environments and be capable of learning from their past observations and actions. In this thesis theories and methods for reinforcement learning based sensing and access policies are developed. The policies stem from the reinforcement learning and multi-armed bandit literature and employ collaborative sensing for mitigating the effects of fading and interference. The thesis consists of 9 original publications and an introductory part providing an extensive overview of the existing body of work in the area of cognitive radios. A practical measure for spatial diversity in collaborative sensing is proposed. The diversity measure captures how gains from collaborative sensing tend to behave in practice: The gains come with diminishing returns as the number of collaborating sensors increases, and the gains are reduced when the sensors are experiencing correlated observations. Deterministic frequency hopping code design for collaborative spectrum exploration is developed. The codes are designed to guarantee a desired diversity order, i.e., a desired number of sensors per frequency band in order to gain from spatial diversity. The codes consider every possible collaborating sensor combinations with the desired diversity in minimum time. The codes can be used for managing spectrum sensing and access during the exploration phases of reinforcement learning based policies. A novel recency-based sensing policy deriving from the restless multi-armed bandit problem formulation of OSA is proposed. The policy is shown to attain asymptotically order optimal regret in unknown radio environments with time independent state-evolution and Markovian state-evolution. Computer simulations illustrate that the proposed policy offers an excellent trade-off between computational complexity and performance. Several collaborative sensing and access policies based on reinforcement learning are proposed. The policies allow trading off between sensing performance and other utilities, such as achieved data rate and energy efficiency. Fast heuristic approximation algorithms are proposed for computing near-optimal sensor assignments during the policy's exploitation periods. Keywords Cognitive radio, OSA, multi-armed bandit, reinforcement learning ISBN (printed) 978-952-60-6982-1 ISBN (pdf) 978-952-60-6981-4 ISSN-L 1799-4934 ISSN (printed) 1799-4934 ISSN (pdf) 1799-4942 Location of publisher Helsinki Location of printing Helsinki Year 2016 Pages 212 urn http://urn.fi/URN:ISBN:978-952-60-6981-4 Tiivistelmä Aalto-yliopisto, PL 11000, 00076 Aalto www.aalto.fi Tekijä Jan Oksanen Väitöskirjan nimi Koneoppimismenetelmiä spektrin kartoittamiseen ja hyödyntämiseen Julkaisija Sähkötekniikan korkeakoulu Yksikkö Department of Signal Processing and Acoustics Sarja Aalto University publication series DOCTORAL DISSERTATIONS 169/2016 Tutkimusala Tietoliikenteen signaalinkäsittely Käsikirjoituksen pvm 18.05.2016 Väitöspäivä 30.09.2016 Julkaisuluvan myöntämispäivä 21.06.2016 Kieli Englanti Monografia Artikkeliväitöskirja Esseeväitöskirja Tiivistelmä Nykyinen joustamaton tapa lisensoida radiospektriä on johtanut siihen että uusien langattomien järjestelmien on yhä vaikeampi saada taajuuksia käyttöönsä. Kognitiivinen radio mahdollistaa tehokkaamman spektrin jakamisen sallimalla lisensoimattomien radiolaitteiden hyödyntää hetkellisesti tai paikallisesti vapaina olevia taajuuksia. Tunnistaakseen lähetysmahdollisuuksia kognitiivisella radiolaitteella tulee olla ilmaisumenetelmiä signaalien havaitsemiseen. Koska tutkittava taajuuskaista voi olla suuri, tarvitaan lisäksi oppivia käytäntöjä määrittämään spektrialueet joilta vapaita taajuuksia kannattaa etsiä. Tässä väitöskirjassa on tutkittu ja kehitetty oppivia käytäntöjä vapaan spektrin löytämiseen ja hyödyntämiseen kognitiivisissa radioverkoissa. Menetelmät perustuvat vahvistusoppimiseen sekä niin sanottuun monikätinen rosvo -ongelmanasetteluun. Lisäksi työssä hyödynnetään hajautetun spektrin aistinnan tuomia etuja. Väitöskirja koostuu 9 julkaisusta sekä tiivistelmäosasta joka sisältää laajan kirjallisuuskatsauksen aiheeseen. Työssä esitetään uusi suure spatiaalisen diversiteetin mittaamiseen. Diversiteettisuure kuvastaa hyvin hajautetusta spektrin aistinnasta saatavan hyödyn määrää. Esimerkiksi, hyödyillä on taipumus pienentyä ilmaisimien lukumäärän kasvaessa. Lisäksi hyödyt ovat sitä pienempiä mitä suurempi korrelaatio yhteistyössä olevien ilmaisimien välillä on. Väitöstyössä on kehitetty deterministinen taajuushyppelyyn perustuva spektrin aistintamenetelmä yhteistoiminnallisille kognitiivisille radioverkoille. Menetelmän avulla laaja taajuuskaista voidaan aistia nopeasti ja luotettavasti, siten että haluttu diversiteetti saavutetaan kullakin aistitulla taajuuskaistalla. Kehitetty taajuushyppelymenetelmä soveltuu erinomaisesti vahvistusoppimiseen perustuvien spektrin aistintakäytäntöjen kartoitusvaiheiden perustaksi. Monikätistä rosvo mallia hyödyntämällä työssä on kehitetty uudenlainen aikaeroihon perustuva spektrin aistintakäytäntö. Käytännön tuottaman kumulatiivisen palkkion ero optimaaliseen käytännön tuottamaan palkkioon voidaan osoittaa kasvavan asymptoottisesti logaritmisesti sekä riippumattomien että Markov ketjua noudattavien palkintojen tapauksissa. Menetelmä tarjoaa myös erinomaisen balanssin kompleksisuuden ja suorituskyvyn välillä verrattuna muihin kirjallisuudessa esitettyihin menetelmiin. Työssä on myös kehitetty useita vahvistusoppimiseen pohjautuvia käytäntöjä yhteistoiminnalliseen spektrin aistimiseen ja käyttöön. Näiden käytäntöjen avulla on mahdollista hyödyntää hajautettua spektrin aistintaa mm. tiedonsiirtonopeuden tai energiatehokkuuden kasvattamiseen. Työssä kehitettyjen nopeiden heurististen algoritmien avulla käytännöt löytävät lähes optimaalisia työnjakoja spektrin aistimiseen. Avainsanat Kognitiivinen radio, OSA, monikätinen rosvo -ongelma, vahvistusoppiminen ISBN (painettu) 978-952-60-6982-1 ISBN (pdf) 978-952-60-6981-4 ISSN-L 1799-4934 ISSN (painettu) 1799-4934 ISSN (pdf) 1799-4942 Julkaisupaikka Helsinki Painopaikka Helsinki Vuosi 2016 Sivumäärä 212 urn http://urn.fi/URN:ISBN:978-952-60-6981-4 Preface The research for this thesis has been carried out at the Department of Sig- nal Processing and Acoustics in Aalto University, Finland. The work has been supervised by professor Visa Koivunen to whom I wish to express my deepest gratitude for being a superb advisor. Prof. Koivunen’s guidance