Semantic Annotation of RESTful and WFS OGC services Author: V´ıctorSaquicela Galarza Supervisor: Oscar Corcho and Luis Vilches Facultad de Inform´atica Universidad Polit´ecnicade Madrid A thesis submitted for the degree of PhD 2015 ii Tribunal nombrado por el Sr. Rector Magfco. de la Universidad Polit´ecnicade Madrid, el d´ıa......... de ........... de 20.. 1. Presidente: 2. Vocal: 3. Vocal: 4. Vocal: 5. Secretario: 6. Suplente: 7. Suplente: Realizado el acto de defensa y lectura de la Tesis el d´ıa...........de..........de20.. en la E.T.S.I/Facultad........................ Calificacion: iii EL PRESIDENTE LOS VOCALES EL SECRETARIO iv Abstract The Web contains an immense collection of Web services (WS-*, RESTful, OGC WFS), normally exposed through standards that tell us how to locate and invocate them. These services are usually described using mostly tex- tual information and without proper formal descriptions, that is, existing service descriptions mostly stay on a syntactic level. If we want to make such services potentially easier to understand and use, we may want to annotate them formally, by means of descriptive metadata. The objective of this thesis is to propose an approach for the semantic annotation of services in the geospatial domain. Our approach automates some stages of the annotation process, by using a combination of third- party resources and services. It has been successfully evaluated with a set of geospatial services. The main contribution of this work is the partial automation of the process of RESTful and WFS semantic annotation services, what improves the cur- rent state of the art in this area. The more detailed list of contributions are: • A model for representing Web services. • A method for annotating Web services using ontological and external resources. • A system that implements the proposed annotation process. • A gold standard for the semantic annotation of RESTful and OGC WFS services, and algorithms for evaluating the annotations. Abstract Actualmente, la Web provee un inmenso conjunto de servicios (WS-*, REST- ful, OGC WFS), los cuales est´annormalmente expuestos a trav´esde difer- entes est´andaresque permiten localizar e invocar a estos servicios. Estos servicios est´an,generalmente, descritos utilizando informaci´ontextual, sin una descripci´onformal, es decir, la descripci´onde los servicios es ´unicamente sint´actica.Para facilitar el uso y entendimiento de estos servicios, es nece- sario anotarlos de manera formal a trav´esde la descripci´onde los metadatos. El objetivo de esta tesis es proponer un enfoque para la anotaci´onsem´antica de servicios Web en el dominio geoespacial. Este enfoque permite autom- atizar algunas de las etapas del proceso de anotaci´on, mediante el uso combinado de recursos ontol´ogicosy servicios externos. Este proceso ha sido evaluado satisfactoriamente con un conjunto de servicios en el dominio geoespacial. La contribuci´onprincipal de este trabajo es la automatizaci´onparcial del proceso de anotaci´onsem´antica de los servicios RESTful y WFS, lo cual mejora el estado del arte en esta ´area.Una lista detallada de las contribu- ciones son: • Un modelo para representar servicios Web desde el punto de vista sint´acticoy sem´antico, teniendo en cuenta el esquema y las instancias. • Un m´etodo para anotar servicios Web utilizando ontolog´ıasy recursos externos. • Un sistema que implementa el proceso de anotaci´onpropuesto. • Un banco de pruebas para la anotaci´onsem´antica de servicios RESTful y OGC WFS. To my family, especially to my daughter Vicky who will take care of my family forever. Acknowledgements Quiero empezar agradeciendo a toda la gente que ayud´otodo este proceso de formaci´ony finalizaci´onde esta tesis doctoral. Expreso mi m´assincera gratitud a mi director Oscar Corcho por su: infinita paciencia, amenazas, est´ımulos, etc. a trav´esde mis estudios de PhD en el grupo de ingenier´ıa ontol´ogicaen la Universidad Polit´ecnicade Madrid. Tambi´enquiero agrader a Luis Vilches por su incondicional soporte en los momentos m´asdif´ıcilesen el trayecto de esta tesis doctoral. Mi agradecimiento a todos los compa~nerosde trabajo de OEG quienes me proveyeron de un ambiente ´optimode trabajo. Un agradecimiento especial a Boris Villaz´onpor esas largas conversaciones acerca de este trabajo. Para mi familia, un agredecimiento especial por acompa~narmeen todo este viaje, realmente un viaje complejo desde la salida de Ecuador a Espa~na, as´ıcomo el regreso y la feliz culminaci´onde este trabajo. Largo viaje que me ha dejado los m´asvalioso de mi vida, mis dos hijos Sebasti´any Camilo. Aunque la inspiraci´onm´asgrande es mi hija que desde alg´unlado siempre cuida de mi familia. A mi mujer por aguantar todo este tiempo, apoyar y recordar que lo que se empieza hay que terminar. No puedo dejar un agradecimiento especial a la gente del f´utbol, esos min- utos que hac´ıanque la tesis pase a segundo plano. Finalmente, gracias Asun por esa confianza al aceptar que me integre al OEG y por esos d´ıasdel jam´onque est´anmarcados en este trabajo. Contents List of Figures ix List of Tables xi Glossary xiii 1 Introduction 1 1.1 Thesis Structure . .4 1.2 Publications and Reports . .5 2 Background and State of the Art 9 2.1 Annotations . .9 2.2 Web Services and their Descriptions . 12 2.2.1 Web Service(WS-*) . 14 2.2.1.1 Finding WS-* . 16 2.2.1.2 Limitations of WS-* . 17 2.2.2 RESTful Services (Web APIs) . 18 2.2.2.1 Finding RESTful services . 20 2.2.2.2 Types of RESTful services . 22 2.2.2.3 Syntactic Web Service Descriptions Languages for REST- ful Services . 24 2.3 Semantic Annotations of Services on the Web . 28 2.3.1 Semantic WS-* . 29 2.3.1.1 OWL-S . 30 2.3.1.2 WSMO . 30 2.3.1.3 SAWSDL . 30 iii CONTENTS 2.3.1.4 SWS WS-* Limitations . 31 2.3.2 Semantic RESTful Services . 31 2.3.2.1 Semantic Annotation Approaches . 32 2.3.2.2 RESTful Semantic Annotations Tools . 37 2.3.2.3 Limitations of Semantic RESTful Annotation . 37 2.4 Geospatial Web Services . 39 2.4.1 OGC and ISO/TC211 . 40 2.4.1.1 Web Features Services . 42 2.4.1.2 Syntactic Descriptions . 43 2.4.1.3 Semantic Annotations . 43 2.4.2 Semantic Resources: Ontologies and SPARQL endpoints . 47 2.4.2.1 Scheme Annotation . 48 2.4.2.2 General Resources Annotation . 50 2.4.2.3 Geospatial Domain Ontologies . 51 2.4.3 Tools . 52 2.4.4 Limitations of the Current State of the Art on Syntactic Descrip- tions and Semantic Annotations . 52 3 Objectives and Contributions 55 3.1 Thesis Objectives . 56 3.2 Contributions to the State of the Art . 57 3.3 Assumptions . 58 3.4 Hypotheses . 58 3.5 Restrictions . 59 4 A General Model and Method for the Semantic Annotation of Web Services 61 4.1 Preliminaries . 62 4.1.1 Basic definitions . 62 4.2 Definitions - Problem formulation . 62 4.2.1 Service URLs . 62 4.2.2 Service Description . 63 4.2.3 Ontology and SPARQL . 64 4.2.4 External Terminological Resources . 65 iv CONTENTS 4.2.5 Special Parameters . 65 4.3 A Model for Service Description . 65 4.3.1 Syntactic description of a Web service . 66 4.3.2 Semantic description of a Web Service . 68 4.4 Semantic Annotation Process . 69 4.4.1 Step 1. Search for services . 69 4.4.2 Step 2. Analyse, invoke and register services . 71 4.4.3 Step 3. Selecting ontologies . 72 4.4.4 Step 4. Include additional resources . 72 4.4.5 Step 5. Detect Special parameters . 73 4.4.6 Step 6. Match service properties with ontology concepts . 74 4.4.7 Step 7. Enrich parameters with external resources . 77 4.4.8 Step 8. Match the new enriched parameters with ontologies . 77 4.4.9 Step 9. Check the Semantic Annotation of Web Services . 79 4.4.9.1 Input Validation . 79 4.4.9.2 Output Validation . 80 4.4.10 Step 10. Publish semantic annotations . 80 4.5 Minimal Service Model vs Our Approach . 80 4.6 Conclusions . 81 5 RESTful Semantic Annotation Process 83 5.1 An automated approach for the semantic annotation of RESTful services 85 5.2 Syntactic description of RESTful services: Registering invocation details in a repository . 86 5.2.1 Syntactic annotation process . 86 5.2.2 RESTful service model . 89 5.2.3 Invocation and Registration algorithm . 90 5.2.4 Calling without parameters . 91 5.2.5 Generation of Syntactic Description . 94 5.2.5.1 Object Oriented Model . 94 5.2.5.2 HTML documentation generation . 94 5.2.5.3 Generation of a WADL description . 95 5.2.5.4 Generation of an hRESTS description . 95 v CONTENTS 5.3 Semantic Annotation Process . 97 5.3.1 A model for describing RESTful service parameters semantically 98 5.3.1.1 Ontological Resources . 100 5.3.1.2 Using ontological sources in the annotation process . 103 5.3.1.3 Use of External Resources for enriching the semantic annotations . 105 5.3.1.4 Using external resources in the annotation process . 107 5.3.2 Definition of Semantic RESTful Annotation . 107 5.3.2.1 Possible semantic definition of RESTful services . 109 5.3.3 Checking the semantic annotation of RESTful services . 112 5.3.3.1 SA-REST . 115 5.4 Conclusions . 115 6 OGC Web Feature Service Annotation Process 117 6.1 An automated approach for the semantic annotation of WFS . 118 6.2 Syntactic description of WFS services: Registering invocation details in a repository .