EcoleUniversité doctorale 386 Université de Paris de Paris Institut de Recherche en Informatique Fondamentale Quantum algorithms for machine learning Par: Alessandro Luongo "hèse de doctorat en Informatique Dirigée par Iordanis Kerenidis et par Frédéric 'agnie( Présentée et soutenue pu)liquement le 09/11/2020 $evant un jury composé de : 1imon PER$RI2 3R Université de Lorraine Rap%orteur 1imone SEVERINI PR Universit0 3ollege London Rap%orteur Elham & 1HEFI 3R Université Pierre et Marie Curie E7aminatrice PR Universit0 of Edin)urgh Fili%%o MI ""8 3R "élécom Paris President Iordanis KERENI$I1 $R Université de Paris $irecteur de th#se Frédéric MAGNIE: $R Université de Paris 3o-directeur de th#se 1 2 Quantum algorithms for machine learning Alessandro Luongo November 18, 2020 2 Résumé Cette thèse explore la possibilité d’exploiter l’ordinateur et les algorithmes quantiques dans le contexte de l’apprentissage automatique afin de faire de l’analyse de données plus rapide- ment. Nous savons depuis longtemps que l’ordinateur quantique peut offrir des avantages computationnels par rapport à l’ordinateur classique, car il permet un nouveau paradigme de calcul qui exploite les lois de la mécanique quantique pour offrir une accélération com- putationnelle. Dans cette thèse sont proposés des algorithmes quantiques - plus rapides que leur meilleure alternative classique - pour estimer les paramètres des modèles d’apprentissage automatique. En plus d’un ordinateur quantique avec correction d’erreur, nous supposons avoir un accès quantique à la base de données. En d’autres termes, nous faisons l’hypothèse que les données sont stockées dans une mémoire quantique, la contrepartie quantique de la mémoire vive. Dans cette thèse, on étudie des algorithmes pour l’apprentissage supervisé, non supervisé, et pour la statistique. La caractéristique en commun de ces algorithmes est que leur temps d’exécution dépend de manière polylogarithmique du nombre d’éléments du jeu de données, et de manière linéaire du nombre de “features”. Le temps d’exécution des algorithmes d’apprentissage automatique quantique présentés ici dépend de caractéris- tiques de la matrice qui représente les jeux de données étudiés, comme le rang, la norme de Frobenius, la sparsité, et l’erreur que l’on tolère dans l’analyse. On remarque que les meilleures algorithmes classiques sont souvent linéaires dans la dimension du jeu de données. Pour l’apprentissage non supervisé, on étudie la version quantique de l’algorithme k- means (q-means), un modèle de clustering très connu, et sa généralisation: “modèle de mélange gaussien”. Ce travail (QEM) peut être pensé comme la version quantique de l’ “espérance-maximisation“, un algorithme itératif d’importance considérable en apprentis- sage automatique classique. Dans le même contexte, on propose aussi des algorithmes quantiques pour estimer la matrice de covariance de données provenant de distributions non gaussiennes, résilients face à la présence de valeurs aberrantes, et un algorithme pour estimer le logarithme du déterminant d’une matrice symétrique définie positive. Pour l’apprentissage supervisé, nous proposons des algorithmes pour la réduction de la dimensionnalité (Quantum Slow Feature Analysis). La réduction de la dimensionnalité est un processus utilisé sur des bases des données de haute dimensionnalité pour améliorer la précision d’un classificateur. Ici nous proposons aussi un algorithme quantique pour la classification qui est adapté pour être exécuté sur des ordinateurs quantiques avec peu de qubits. Nous proposons également d’autres modèles d’apprentissage automatique qui peuvent être formulés comme un problème à valeur propre généralisé - le même problème qui est sous-jacent à la SFA classique - comme l’Analyse Canonique des Corrélations (CCA), et le “Goulot Gaussien Informationnel”. Puisque chacun de ces algorithmes représente seulement un résultat théorique (i.e. sous forme de preuves de garanties sur le temps d’exécution et de bornes sur l’erreur d’approximation), on doit s’assurer que les performances réelles des algorithmes quantiques offrent des avantages concrets par rapport aux meilleurs algorithmes classiques. Puisque nous n’avons pas accès à des ordinateurs quantiques assez puissants pour exécuter ces algorithmes, nous avons évalué leurs performances par des simulations classiques. Dans ces expériences nous avons évité de construire et simuler des circuits quantiques: nous avons plutôt directement simulé les opérations d’algèbre linéaire bruitée, correspondant à l’exécution des algorithmes quantiques. Les simulations ont été effectuées sur des bases de données standards utilisées dans la communauté de l’apprentissage classique pour qualifier de nouveaux algorithmes et modèles (comme le MNIST). Dans les simulations, nous avons ajouté les mêmes erreurs que l’on s’attendrait à avoir si l’algorithme était exécuté par un ordinateur quantique. Grâce à cela, nous avons étudié la résilience d’une analyse de don- nées aux erreurs de calcul insérées par les algorithmes quantiques, ce qui nous a permis 3 de comprendre quelles bases de données sont susceptibles d’être analysées efficacement par des algorithmes quantiques. Les expériences ont montré que l’impact du bruit n’affecte pas la qualité de l’analyse. De plus, l’impact des paramètres qui régissent la précision de calcul n’empêche pas des speedup sur les jeux de données massives. Pour conclure, cette thèse donne l’espoir que l’ordinateur quantique avec accès quan- tique à une base de données permettra de nouvelles possibilités dans l’apprentissage au- tomatique. Nous pensons que l’apprentissage automatique quantique pourra favoriser de nouvelles avancées technologiques, dès lors que des machine quantiques capables de sup- porter ces calculs seront prêtes. Mots clés: Apprentissage automatique quantique, computation quantique, simulation quantique, analyse de données quantique. 4 Abstract In this thesis we explore how we can leverage quantum computers and quantum algorithms in the context of machine learning, so as to process and analyze datasets and information faster. It has long been known that quantum computation can offer computational advan- tages with respect to classical computers. In this thesis we propose various quantum algorithms that return an estimate of a machine learning model, that are faster than their best classical alternatives. Along with an error-corrected quantum computer, we assume to have quantum access to a dataset. In other words, we assume that the data is stored in a quantum memory: the corre- sponding quantum version of the classical random-access memory. We study quantum algorithms for supervised and unsupervised learning, dimensionality reduction, and statis- tics. The common characteristic of these algorithms is that the runtime depends only poly-logarithmically in the number of elements in the dataset, and is usually only linear in the number of features. The runtime of the quantum machine learning algorithm also often depends on characteristics of the matrix that represent the data under analysis, such as its rank, the Frobenius norm, the sparsity, the condition number, and the error we tolerate in the analysis. Note that in the vast majority of the cases, the best classical algorithms are at least linear in the dimension of the data. For unsupervised learning, we study a quantum version of k-means (q-means), a classi- cal clustering algorithm and its generalization: the Gaussian Mixture Models. This work can be thought of as the quantum version of Expectation-Maximization (QEM): an itera- tive algorithm of considerable importance in classical machine learning. We also study a quantum algorithm to estimate covariance matrices of data that comes from non-Gaussian distributions, that is resilient to the presence of outliers, and quantum algorithms to esti- mate the log-determinant of symmetric positive definite matrices. For supervised learning, we put forward a quantum algorithm for supervised dimen- sionality reduction (Quantum Slow Feature Analysis). Dimensionality reduction is a pre- processing step that is used in high-dimensional datasets to increase the accuracy of a classifier. Here we propose also a quantum algorithm for classification that is particularly apt for quantum computers with not so many qubits (Quantum Frobenius Distance Clas- sifier). Similarly to QSFA, we enlist some of the classical machine learning algorithms that can be reformulated as a generalized eigenvalue problem - the same computational problem that is underneath the classical Slow Feature Analysis algorithm-, like Canonical Correspondence Analysis, and the Gaussian Information Bottleneck. Since each of these algorithms represents only a new theoretical result, (i.e we can provide guarantees on its runtime and bounds on the approximation error), we need to make sure that the real performances of the quantum algorithms offers concrete advantages with respect to the effective runtime and the accuracy that is offered by the best classical algorithms. As we don’t have access to big-enough quantum computers yet, we assessed the performance of these quantum algorithms via a classical simulation. The experiments bypassed the construction of the quantum circuit and directly performed the noisy linear algebraic operations carried out by the quantum algorithm. The simulations have been carried out on some datasets that are considered the standard benchmark of new machine learning algorithms, like the MNIST dataset, inserting the same kind of errors that we expect to have in the real