A Method for Completely Positive and Nonnegative Matrix Factorization
Total Page:16
File Type:pdf, Size:1020Kb
A Method for Completely Positive and Nonnegative Matrix Factorization DISSERTATION zur Erlangung des akademischen Grades eines Doktor der Naturwissenschaften Dr. rer. nat. vorgelegt am Fachbereich IV der Universitat¨ Trier von M. Sc. Patrick Hermann Groetzner Trier, 2018 Eingereicht am 11.06.2018 Disputation am 06.08.2018 Gutachter Prof. Dr. Mirjam Dur¨ Prof. Dr. Florian Jarre Zusammenfassung Viele nicht konvexe Optimierungsprobleme konnen¨ als konvexes Problem uber¨ dem Kegel der vollstandig¨ positiven Matrizen reformuliert werden, sodass fur¨ diese Reformulierung lokale und globale Optima zusammenfallen und daher keine globalen Optimierungstechniken notwendig sind. Dies ist moglich,¨ da die Komplexitat¨ des Problems nun vollstandig¨ in der Kegelnebenbedingung enthalten ist. Daher ist es nicht verwunderlich, dass die Uberpr¨ ufung¨ der Zugehorigkeit¨ einer Matrix zum vollstandig¨ positiven Kegel NP-schwer ist, wie in [38] gezeigt. Als Hauptresultat dieser Arbeit werden wir sehen, wie algorithmisch ein Zertifikat generiert werden kann, welches fur¨ geeignete Startwerte verifiziert, dass eine gegebene Matrix vollstandig¨ positiv ist. Dazu werden wir zunachst¨ einige, den vollstandig¨ positiven Kegel betreffende Fakten sehen, die im Anschluss durch einige notwendige und teilweise hinreichende Bedingungen fur¨ eine vollstandig¨ positive Matrix erganzt¨ werden. Als fundamentale Definition gilt hier, dass eine Matrix n×n n×r A 2 R vollstandig¨ positiv ist, falls es eine Zerlegungsmatrix B 2 R gibt, die eintragsweise nichtnegativ ist und die Gleichung A = BBT erfullt.¨ Eine solche Zerlegung liefert daher immer ein Zertifikat, welches zeigt, dass die gegebene Matrix vollstandig¨ positiv ist. Basierend auf dieser Definition werden wir einige Fakten zu diesen Zerlegungen sehen, die nichtzuletzt auch fur¨ die praktischen Anwendungen relevant sind und daher durch diese motiviert werden konnen.¨ Basierend auf diesen Zerlegungen ist es zusatzlich¨ moglich,¨ weitere und teilweise neue Bedin- gungen fur¨ vollstandig¨ positive Matrizen abzuleiten. Hier ist es insbesondere notwendig mit einer passenden Startzerlegung der Matrix zu beginnen. Wie eine solche Zerlegung generiert werden kann, wird ebenfalls gezeigt. Hier werden wir insbesondere auf orthognale Matrizen als Werkzeug zuruckgreifen.¨ So ist es insgesamt moglich,¨ das Problem der Verifizierung der Zugehorigkeit¨ einer Matrix zum vollstandig¨ positiven Kegel auf ein Zulassigkeitsproblem¨ zu reduzieren. Im Detail ist es dazu notwendig, eine Matrix im Schnitt eines polyedrischen Kegels und dem nichtnegativen Or- thanten zu finden. Dabei werden wir auf die auf von Neumann (cf. [95]) zuruckgehende¨ Technik der alternierenden Projektionen zuruckgreifen,¨ um eine solche Matrix zu generieren. Fur¨ dieses Verfahren wird eine kurze Einfuhrung¨ und Erlauterung¨ der Anwendung auf ver- schiedene Typen von Mengen gegeben. Insbesondere werden anhand von geometrischen Eigen- schaften bekannte Resultate bezuglich¨ der Konvergenz des Verfahrens und deren Geschwindigkeit gezeigt. Erweitert man die Idee der alternierenden Projektionen auf mehr als zwei Mengen, so spricht man vom zyklischen Projektions-Verfahren. Auch fur¨ diesen Ansatz werden bekan- nte Resultate fur¨ Unterraume¨ und allgemeine konvexe Mengen gezeigt. Des Weiteren wird ein neues Konvergenzresultat fur¨ die zyklische Projektion zwischen transversalen Mannigfaltigkeiten hergeleitet, welches auf den Resultaten fur¨ die alternierenden Projektionen auf Mannigfaltigkeiten in [70] basiert. Insbesondere lasst¨ sich die Methode der alternierenden Projektionen auf semialgebraische Men- gen anwenden, wie in [42] gezeigt. Dieses Resultat werden wir nutzen, um einen ersten Algorith- i mus zur Generierung von Zerlegungen von vollstandig¨ positiven Matrizen herzuleiten. Fur¨ diesen Algorithmus ist es moglich,¨ ein lokales Konvergenzresultat zu zeigen. Insbesondere greift dieser Algorithmus jedoch auf das wiederholte Losen¨ von sogenannten second order cone Problemen zuruck.¨ Diese sind zwar in polynomieller Zeit losbar,¨ aber immer noch vergleichsweise rechenin- tensiv. Aus diesem Grund werden wir eine modifizierte Variante dieses Algorithmus sehen, die ohne diese speziellen Probleme auskommt. Hier verlieren wir zwar das lokale Konvergenzresultat, aber numerische Experimente zeigen, dass dieser Ansatz fur¨ nahezu alle getesteten Beispiele vollstandig¨ positiver Matrizen in sehr kurzer Zeit eine Zerlegung liefert. Neben der Generierung von Zerlegungen fur¨ vollstandig¨ positive Matrizen konnen¨ die gezeigten Methoden und Verfahren auch im Kontext der sogenannten Nichtnegativen Matrix Zerlegung angewandt werden. Hier werden wir sehen, dass fur¨ die symmetrische Variante dieser Zerlegung lediglich zusatzliche¨ niedrig-Rang Nebenbedingungen bedacht und integriert werden mussen.¨ Fur¨ den allgemeinen, nicht symmetrischen Fall hingegen konnen¨ zwar die Ansatze¨ der Verfahren zur Generierung von Zerlegungen fur¨ vollstandig¨ postitive Matrizen verwendet werden, mussen¨ aber auf nicht-quadratische Ausgangsmatrizen erweitert werden. Hier werden wir sehen, dass orthog- onale Matrizen nicht mehr das Werkzeug der Wahl sind und entsprechend ersetzt werden mussen.¨ Des Weiteren ist es nicht mehr moglich¨ auf den Ansatz der alternierenden Projektionen zuruck-¨ zugreifen, da die dazu notwendigen Projektionen nicht mehr berechnet werden konnen.¨ Nichts- destotrotz ist es moglich,¨ die Ideen des modifizierten Algorithmus fur¨ vollstandig¨ positive Ma- trizen auch in diesem Kontext zu verwenden. Sowohl fur¨ den symmetrischen, als auch fur¨ den allgemeinen Fall der nichtnegativen Matrixzerlegung, werden wir zahlreiche numerische Experi- mente sehen, die die Anwendbarkeit der in dieser Arbeit generierten Algorithmen auch in diesem Kontext untermauern. ii Danksagung An dieser Stelle mochte¨ ich mich bei all denjenigen bedanken, die mir bei der Anfertigung dieser Dissertation unterstutzend¨ zur Seite gestanden haben. Ein besonderer Dank gilt hier Frau Prof. Dr. Mirjam Dur¨ und dies nicht nur fur¨ die Betreuung dieser Doktorarbeit. Durch ihr Vertrauen in mich und das damit verbundene Angebot bei ihr tatig¨ zu werden, war es mir erst moglich,¨ in das bearbeitete Themengebiet einzusteigen. Sie hatte mich in meinen mathematischen Interessen bestarkt¨ und basierend auf diesen, offene Forschungsfragen formuliert, sodass mir der Zugang zu einem mir großtenteils¨ noch unbekannten Forschungsgebiet leichtgemacht wurde. Wahrend¨ der gesamten Betreuungszeit waren ein klares Ziel und perfekte Organisation stetige Begleiter. Regelmaßige¨ Treffen und fachliche Diskussionen waren ein Garant fur¨ eine produktive Arbeitsatmosphare¨ und haben diese Arbeit erst ermoglicht.¨ Wann immer Fra- gen aufkamen oder Unklarheiten ein Vorankommen hemmten, hatte Frau Dur¨ ein offenes Ohr und produktive Anregungen. Nicht zuletzt machten ausfuhrliche¨ Hilfestellungen bei der Formulierung mathematischer Inhalte und Feedback zu Vortragen¨ oder Ausarbeitungen eine Weiterentwicklung meinerseits moglich.¨ Zudem wurde mir insbesondere durch zahlreiche internationale Konferenzen die Moglichkeit¨ der globalen Kontaktknupfung¨ eroffnet,¨ sodass hier zukunftige¨ Forschungskooperationen entste- hen konnen.¨ In unmittelbarer Zukunft freue ich mich weiterhin mit Frau Dur¨ arbeiten zu konnen¨ und weiß ihre Forderung¨ und Unterstutzung¨ in jeder Phase meiner potentiellen wissenschaftlichen Karriere sehr zu schatzen.¨ Des Weiteren gilt mein Dank Herrn Prof. Dr. Florian Jarre fur¨ die Bereitschaft als Zweitgutachter fur¨ diese Dissertation zu fungieren, wie auch fur¨ die Moglichkeit,¨ den Code seines in Zusammen- arbeit mit Frau Prof. Dr. Katrin Schmallowsky entstandenen Ansatzes zu nutzen. Außerdem mochte¨ ich der German-Israeli Foundation for Scientific Research and Develop- ment (GIF) im Projekt Matrices (G-18-304.2/2011) sowie der Deutschen Forschungsgemeinschaft (DFG) und damit verbunden den Verantwortlichen des Graduiertenkollegs 2126 Algorithmic Optimization (ALOP) an der Universitat¨ Trier fur¨ die finanzielle Unterstutzung¨ wahrend¨ meiner Promotionszeit danken. Durch eine uberzeugende¨ Organisation, ein vielfaltiges¨ wissenschaftliches Programm und der Moglichkeit¨ zur Teilnahme an internationalen Konferenzen, wurden mir auch als assoziiertes Mitglied im Graduiertenkolleg ALOP stets Optionen zur Weiterbildung und Kon- taktknupfung¨ ermoglicht.¨ Ein weiterer Dank geht an das SIAM Student Chapter in Trier, welches durch seine zahlreichen wissenschaftlichen und nicht wissenschaftlichen Aktivitaten¨ immer zu einer produktiven Arbeits- atmosphare¨ beigetragen hat. iii Nicht zuletzt mochte¨ ich mich bei meiner Mutter bedanken, die mir wahrend¨ meines gesamten Lebens immer mit Rat und Tat zur Seite stand. Sie hat mir insbesondere mein Studium ermoglicht,¨ sodass ich die Mathematik und ihre Facetten fur¨ mich entdecken und somit den Weg der Promotion einschlagen konnte. Ferner mochte¨ ich den Korrekteuren dieser Arbeit fur¨ die hilfreichen Kommentare und Anre- gungen danken. Dies sind im Detail: Claudia Adams, Philipp Annen, Dana Becker, David Geulen, Simone Hesse, Daniel Hoffmann, Asim Nomani, Thorben Schlierkamp und Robin Schrecklinger. iv Contents 1 Short Summary1 2 Introduction3 2.1 The Copositive and the Completely Positive Cone . .3 2.2 Complexity and Theoretical Certificates for Complete Positivity . .6 2.3 The Interior of the Completely Positive Cone . 10 2.4 The cp-rank and the cp+-rank for Completely Positive Matrices . 12 2.5 Matrices of High cp-rank . 15 2.6 The Boundary of the Completely Positive Cone . 17 2.7 Conic