MÁSTER OFICIAL EN LENGUA ESPAÑOLA Y LITERATURA HISPÁNICA Aplicación de las tecnologías de la información y de la comunicación (TIC) a la Lengua española Tecnologías del habla, Carme de-la-Mota LA CONVERSIÓN DE TEXTO EN HABLA Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 1 GUIÓN DEL CURSO Interacción entre personas y ordenadores Tema que Conversión de texto en habla trataremos Reconocimiento de habla con más detalle Sistemas de diálogo Interacción entre personas mediatizada por ordenador Traducción de lenguas orales Traducción entre lengua oral y lengua de signos Reconocimiento de habla y generación de caras animadas para lectura labial La necesidad de crear y etiquetar corpus orales Aplicaciones Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 2 Interacción ordenador persona Foto: teclarosrg Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 3 La generación automática de habla Conversión de texto en habla text-to-speech Generación de habla a partir de conceptos concept-to-speech Procesamiento del lenguaje natural PLN Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 4 ¿Qué es la conversión de texto en habla? Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 5 Conversión de texto en habla Gota. [‘gota] Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 6 Objetivos de un sistema de CTH Primero: inteligibilidad Segundo: naturalidad Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 7 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 8 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 9 Von Kempelen, 1791 Reconstrucción por Wheatstone Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 10 Von Kempelen, 1791 Simulación del aparato fonador Deutsches Museum, Munich http://www.ling.su.se/staff/hartmut/kemplne.htm Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 11 Evolución de los sistemas de síntesis: VODER VODER (Voice Operating Demonstrator) Homer Dudley, New York World's Fair 1939 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 12 Evolución de los sistemas de síntesis: Pattern Playback Pattern Playback Laboratorios Haskins 1951 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 13 Evolución de los sistemas de síntesis: OVE OVE I (Orator Verbis Electris) Gunnar Fant Primer sintetizador por formantes en cascada 1953 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 14 Evolución de los sistemas de síntesis: DAVO DAVO (Dynamic Analog of the VOcal tract) George Rosen Massachusetts Institute of Technology, M.I.T. Primer sintetizador de base articulatoria 1958 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 15 Evolución de los sistemas de síntesis: TI Speak'n'Spell Speak'n'Spell Linear Predictive Coding (LPC) 1980 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 16 Sami Lemmetty (1999) Review of Speech Synthesis Technology, Master's Thesis, Laboratory of Acoustics and Audio Signal Processing, Helsinki University of Technology. http://www.acoustics.hut.fi/publications/files/theses/lemmetty_m st/index.html Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 17 Actualmente Inteligibilidad altísima Naturalidad aceptable Mejorable: expresividad … Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 18 La conversión de texto en habla 1. De los inicios a la actualidad 2. La estructura de un conversor 3. Las mejoras pendientes 4. Las aplicaciones Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 19 Conversión de texto en habla Lectura en voz alta Gota. [‘gota] Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 20 Conversión de texto en habla A. Aspectos lingüísticos B. Generación de habla sintética Módulo lingüístico Gota. Módulo de síntesis Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 21 Funcionamiento Principales módulos en un conversor de texto en habla J. Llisterri, C. Carbó, M. J. Machuca, C. de-la-Mota, M. Riera, A. Ríos (2003) "El papel de la lingüística en el desarrollo de las tecnologías del habla“, en M. Casas Gómez (dir.) y C. Varo Varo (ed.) VII Jornadas de Lingüística. Cádiz: Universidad de Cádiz. ISBN: 84- 88423-30-6: 137-191 http://liceu.uab.es/~carme/Cadiz_03.pdf http://liceu.uab.es/~joaquim/publicacions/Llisterri_Carbo _Machuca_Mota_Riera_Rios_03_Linguistica_Tecnologi as_Habla.pdf Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 22 A. Aspectos lingüísticos Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 23 Información lingüística ¿Qué información fonética debe contener? Determinación y descripción de unidades Transcripción fonética Silabificación Acento Entonación Junturas… ¿Qué información léxica, sintáctica, semántica y pragmática debe contener? ¿En qué orden deben actuar los módulos? Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 24 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 25 1. Preprocesado o normalización del texto Preparación del texto para que pueda ser transcrito fonéticamente Ejemplo: Juan Carlos I [ i ] <primero> Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 26 1. Preprocesado o normalización del texto Números ordinales Números romanos Horas Fechas Unidades de medida Temperaturas Expresiones monetarias Siglas Abreviaturas Direcciones de correo electrónico e Internet Símbolos Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 27 ¿Cómo debería realizarse el preprocesado de estos casos? % @ CCOO 1 m kW Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 28 ¿Cómo debería realizarse el preprocesado de estos casos? 1 m 150 m Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 29 ¿Cómo debería realizarse el preprocesado de estos casos? 1 metro 150 metros Concordancia morfológica Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 30 ¿Cómo debería realizarse el preprocesado de estos casos? El valor era 25, ni más ni menos. Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 31 ¿Cómo debería realizarse el preprocesado de estos casos? El valor era 25, ni más ni menos. El valor era 25,3, ni más ni menos. ¿Cómo tratar la coma y los otros signos de puntuación? Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 32 ¿Cómo debería realizarse el preprocesado de estos casos? UAM 6,50 € 91 213 55 98 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 33 ¿Cómo debería realizarse el preprocesado de estos casos? UAM 6,50 € 91 213 55 98 1-12 ¡Hay más de una salida posible! Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 34 Abreviaturas ¿Cómo expandir estas abreviaturas? c/ ed. impr. R.D. S.A. trad. v. Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 35 Abreviaturas Consulta DPD, Diccionario Panhispánico de Dudas Apéndice 2: Lista de abreviaturas http://buscon.rae.es/dpdI/ Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 36 Abreviaturas ¿Cómo expandir estas abreviaturas? c/ ed. impr. R.D. S.A. ¡Hay más de una salida posible! trad. v. Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 37 Abreviaturas Consulta en el DPD c/ calle (también c. y cl.) || cargo (también cgo.) || cuenta (también cta.) ed. edición || editorial (también edit.) || editor, -ra impr. imprenta (también imp.) || impreso R.D. Real Decreto [Esp.] (cf. R. O.) || República Dominicana S.A. sociedad anónima (cf. S. L.) || su alteza trad. traducción || traductor, -ra v. véase (cf. vid.) || verso Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 38 ¿Preprocesado? Probemos con varios de los sistemas actuales accesibles en Internet… Texto: Vamos a ver si se ha preprocesado el texto. Atención. Son las 12:45. El rey Carlos III. Son 100 Km/h. Es el 1º. Hablamos de la UGT, CCOO, el PSOE y la ONU. Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 39 AT&T http://www.research.att.com/~ttsweb/tts/demo.php Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 40 Acapela ELAN TTS http://www.acapela-group.com/text-to-speech-interactive-demo.html Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 41 Loquendo Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 42 Pero cuidado… ¿Cuál es el objetivo del preprocesado? ¿Hasta qué punto debe cubrir el preprocesado los elementos ajenos a la cultura habitual de uso del conversor? UGT, CCOO, PSOE Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 43 Carme de-la-Mota, Tecnologías del habla, Universitat Autònoma de Barcelona 44 2. Análisis lingüístico ¿Grado de detalle