Visualization and Validation of (Q)Sar Models
Total Page:16
File Type:pdf, Size:1020Kb
VISUALIZATION AND VALIDATION OF (Q)SARMODELS Dissertation to obtain the academic degree Dissertation of Science submitted to the Faculty Physics, Mathematics and Computer Science of the Johannes Gutenberg-University Mainz on 6. July 2015 by Martin Gütlein born in Bamberg Submission date: 6. July 2015 PhD defense: 22. July 2015 First reviewer: Second reviewer: ABSTRACT Analyzing and modeling relationships between the structure of chemical com- pounds, their physico-chemical properties, and biological or toxic effects in chem- ical datasets is a challenging task for scientific researchers in the field of chemin- formatics. Therefore, (Q)SAR model validation is essential to ensure future model predictivity on unseen compounds. Proper validation is also one of the require- ments of regulatory authorities in order to approve its use in real-world scenarios as an alternative testing method. However, at the same time, the question of how to validate a (Q)SAR model is still under discussion. In this work, we empirically compare a k-fold cross-validation with external test set validation. The introduced workflow allows to apply the built and validated models to large amounts of un- seen data, and to compare the performance of the different validation approaches. Our experimental results indicate that cross-validation produces (Q)SAR models with higher predictivity than external test set validation and reduces the variance of the results. Statistical validation is important to evaluate the performance of (Q)SAR mod- els, but does not support the user in better understanding the properties of the model or the underlying correlations. We present the 3D molecular viewer CheS- Mapper (Chemical Space Mapper) that arranges compounds in 3D space, such that their spatial proximity reflects their similarity. The user can indirectly determine similarity, by selecting which features to employ in the process. The tool can use and calculate different kinds of features, like structural fragments as well as quan- titative chemical descriptors. Comprehensive functionalities including clustering, alignment of compounds according to their 3D structure, and feature highlighting aid the chemist to better understand patterns and regularities and relate the obser- vations to established scientific knowledge. Even though visualization tools for analyzing (Q)SAR information in small molecule datasets exist, integrated visualization methods that allows for the investi- gation of model validation results are still lacking. We propose visual validation, as an approach for the graphical inspection of (Q)SAR model validation results. New functionalities in CheS-Mapper 2.0 facilitate the analysis of (Q)SAR information and allow the visual validation of (Q)SAR models. The tool enables the comparison of model predictions to the actual activity in feature space. Our approach reveals if the endpoint is modeled too specific or too generic and highlights common proper- ties of misclassified compounds. Moreover, the researcher can use CheS-Mapper to III inspect how the (Q)SAR model predicts activity cliffs. The CheS-Mapper software is freely available at http://ches-mapper.org. IV ZUSAMMENFASSUNG Zusammenhänge zwischen der Struktur von chemischen Verbindungen und biol- ogischen oder toxischen Effekten zu analysieren und zu modellieren ist eine wis- senschaftliche Herausforderung im Bereich der Chemieinformatik. Deshalb ist die sorgfältige Validierung von (Q)SAR Modellen entscheidend um die Vorhersage- Genauigkeit eines Modells bei ungesehenen Verbindungen zu gewährleisten. Ord- nungsgemäße Validierung ist auch eine der Voraussetzungen der Regulierungs- behörden, um den Einsatz von (Q)SAR Modellen als alternative Test-Methode von Chemikalien zu genehmigen. Allerdings wird immer noch aktiv diskutiert, welches die korrekte Validierungsmethode von (Q)SAR Modellen ist. Diese Ar- beit vergleicht empirisch k-fache Kreuzvalidierung mit einer externen Validierung anhand eines Test-Datensatzes. Mit der vorgestellten Methodik werden die vali- dierten Modelle auf große Mengen ungesehener Verbindungen angewendet, und die Genauigkeit der verschiedenen Validierungsmethoden verglichen. Unsere ex- perimentellen Ergebnisse legen nahe, dass kreuzvalidierte (Q)SAR Modelle eine höhere Vorhersage-Genauigkeit aufweisen, als solche, die mit einem externen Test- datensatz validiert worden sind. Des weiteren ist die Varianz der Kreuzvalidierung geringer. Statistische Validierung ist zwingend notwendig, um die Vorhersage- Genauigkeit von (Q)SAR Modellen zu ermitteln. Diese Validierung ist aber nur eingeschränkt hilfreich um die Eigenschaften des Modells oder der zugrunde liegenden Beziehungen zu verstehen. In diesem Zusammenhang stellen wir den molekularen 3D-Viewer CheS-Mapper (Chemical Space Mapper) vor. Diese Computer-Anwendung ordnet chemische Verbindungen im 3D-Raum an, so dass die räumliche Distanz die Ähnlichkeit der Verbindungen widerspiegelt. Durch die Wahl der chemischen Deskriptoren kann der Benutzer die Ähnlichkeit festlegen. CheS-Mapper kann diverse Deskriptoren-Typen, zum Beispiel struk- turelle Fragmente oder numerische Kennzahlen, berechnen. Des weiteren erlaubt CheS-Mapper das Clustern von Verbindungen, das Ausrichten und Übereinan- derlegen der Strukturen im 3D-Raum, wie auch die farbliche Hervorhebung von Verbindungen anhand ihrer Deskriptor-Werte. Das Programm erleichtert es daher, Chemikern Muster und Zusammenhänge in den Daten zu erkennen und bekanntes wissenschaftliches Wissen zu veranschaulichen. Zwar existieren bereits einige Visualisierungs-Werkzeuge für (Q)SAR Informatio- nen in chemischen Datensätzen, allerdings fehlt eine ganzheitliche Visualisierungs- V Methode für Validierungs-Ergebnisse. Wir präsentieren visuelle Validierung, eine graphische Analyse-Methode für die Validierung eines (Q)SAR Modells mit Hilfe neuer Funktionen in CheS-Mapper 2.0. Vorhergesagte Werte für die Aktivität chemischer Verbindungen können mit tatsächlichen Aktivitäten durch die Visual- isierung im 3D-Raum verglichen werden. Unser Ansatz zeigt, ob der Endpunkt zu generisch oder zu spezifisch modelliert wurde, und hebt gemeinsame Eigen- schaften von falsch vorhergesagten Verbindungen hervor. Darüber hinaus können Forscher untersuchen, wie Activity Cliffs von einem Modell vorhergesagt werden. Die CheS-Mapper Software ist frei verfügbar unter http://ches-mapper.org. VI ACKNOWLEDGEMENTS Acknowledgements have been removed from the online version. VII CONTENTS List of Figures XIII List of Tables XIX List of Abbreviations XXI List of Papers XXIII 1 INTRODUCTION 1 1.1 Contributions and Findings . 1 1.2 Structure . 3 2 BACKGROUND 5 2.1 Cheminformatics . 5 2.1.1 Representing Chemical Structures . 5 2.1.2 Chemical Descriptors and Structural Fragments . 11 2.1.3 Chemical Databases . 13 2.1.4 Searching in Datasets and Databases . 14 2.2 (Q)SAR Modeling . 15 2.2.1 Milestones in (Q)SAR History . 15 2.2.2 Types of (Q)SAR Modeling Approaches . 16 2.2.3 Data Availability and Quality . 19 2.2.4 Applicability Domain of (Q)SAR Models . 20 2.2.5 An Application Example: lazar . 21 2.2.6 Acceptance of (Q)SARs as Alternative Testing Method . 22 2.3 Validation of (Q)SAR Models . 23 2.3.1 Cross-Validation and its Variants . 24 2.3.2 Internal and External Validation . 25 2.3.3 Current Concerns about Cross-Validation . 26 2.4 Visualization of Chemical Datasets . 27 2.4.1 Chemical Spreadsheets . 28 2.4.2 Dimensionality Reduction Techniques . 28 2.4.3 Visualization Tools for Small Molecule Datasets . 30 2.4.4 Visualization Approaches for Model Validation . 35 IX 3 CROSS - VALIDATION OF ( Q ) SARMODELS 37 3.1 Experimental Workflow Design . 37 3.1.1 Extended Workflow Parameters . 40 3.2 Experimental Results . 42 3.2.1 Performance on Reference Dataset . 42 3.2.2 Deviation of Predictivity Estimate from Reference Dataset . 45 3.2.3 Additional Experimental Results . 45 3.3 Discussion on Cross-Validation and External Validation . 52 3.4 Conclusions . 53 4 CHEMICALSPACEMAPPINGANDVISUALIZATION 55 4.1 Methods . 55 4.1.1 CheS-Mapper Wizard . 56 4.1.2 CheS-Mapper Viewer . 67 4.2 Implementation . 74 4.3 Use Cases . 74 4.3.1 Mapping a Dataset using Integrated Features . 74 4.3.2 Structural Clustering using Open Babel Fingerprints . 75 4.4 Empirical Evaluation . 77 4.5 Conclusions . 81 5 VISUAL VALIDATION 83 5.1 Motivation . 83 5.2 Visual Validation of (Q)SAR Models . 85 5.2.1 New Features for Visual Validation . 85 5.2.2 Visually Validating (Q)SAR Models in CheS-Mapper 2.0 . 91 5.3 Use Cases . 94 5.3.1 Comparing (Q)SAR Models for Caco-2 Permeation . 94 5.3.2 Structural Clustering of COX-2 Data . 97 5.3.3 Investigating Input Features for Carcinogenicity Models . 100 5.3.4 Analyzing Applicability Domains for Fish Toxicity Prediction 103 5.4 Conclusions . 105 6 CONCLUSIONS 107 6.1 Summary . 107 6.2 Application to (Q)SAR Modeling . 108 6.3 Future Work . 108 Bibliography 111 X ASUPPLEMENTARYMATERIAL 127 A.1 A KNIME Workflow for Visually Validating LOO-CV . 127 XI LISTOFFIGURES Figure 2.1 2D and 3D structure of the compound diazepam, created with its SMILES (simplified molecular-input line-entry system) string. 6 Figure 2.2 3D structure of diazepam in MDL molfile format . 10 Figure 2.3 3D structure of diazepam in chemical markup language (CML), shortened . 10 Figure 2.4 The workflow of the lazar framework, with regard to the configurable algorithms for descriptor calculation, chemical similarity calculation, and local (Q)SAR models. 21 Figure 2.5 10-fold cross-validation . 24 Figure 2.6 External validation using a single test set . 25 Figure 2.7 Scatterplots