UNIVERSIDAD CARLOS III DE MADRID TESIS DOCTORAL Advanced Driver Assistance System based on Computer Vision using Detection, Recognition and Tracking of Road Signs Autor: Juan Pablo Carrasco Pascual Directores: Arturo de la Escalera Hueso Jos¶eMar¶³aArmingol Moreno DEPARTAMENTO DE INGENIER¶IA DE SISTEMAS Y AUTOMATICA¶ Legan¶es,Julio 2009 ¢ TESIS DOCTORAL ADVANCED DRIVER ASSISTANCE SYSTEM BASED ON COMPUTER VISION USING DETECTION, RECOGNITION AND TRACKING OF ROAD SIGNS Autor: Juan Pablo Carrasco Pascual Directores: Arturo de la Escalera Hueso Jos¶eMar¶³aArmingol Moreno Firma del tribunal cali¯cador: Firma Presidente: Vocal: Vocal: Vocal: Secretario: Cali¯caci¶on: Legan¶es,6 de Julio de 2009 This thesis is submitted to the Departamento de Ingenier¶³ade Sistemas y Autom¶aticaof the Escuela Polit¶ecnicaSuperior of the Universidad Carlos III de Madrid, for the degree of Doctor of Philosophy. This thesis is entirely my own work, and, except where otherwise indicated. describes my own research. Copyright °c 2009 Juan Pablo Carrasco Pascual A mi madre Acknowledgements En un trabajo de esta envergadura no s¶olohan tenido participaci¶onlos com- ponentes del grupo de investigaci¶onsino tambi¶entodos aqu¶ellosque han hecho este recorrido m¶asf¶acil,a todos ellos est¶adedicada esta tesis. A Arturo y Jos¶eMar¶³a. El entorno humano que rodea la investigaci¶on es una importante motivaci¶onextra, y ellos siempre han procurado que al menos dentro del grupo me sintiese lo m¶asa gusto posible. Fuera del en- torno de investigaci¶onhan respetado mi independencia y mis decisiones y no he conocido en estos cuatro a~nosuna postura tan abierta al di¶alogoy tan respetuosa con los derechos y la justicia como la de ellos. Esto es digno de elogio ya que supone que, por encima de nuestro trabajo, hay una di- mensi¶onhumana inviolable que es la que realmente nos hace importantes, no respetarla signi¯ca no respetarnos a nosotros mismos. Espero que mi trabajo y, sobre todo, mi actitud en este tiempo les sirva de homenaje. A Michael, que enga~n¶oa mis tutores para que aceptasen a un f¶³sicocomo doctorando, parece que ¯nalmente no se equivoc¶o... A mis compa~nerosdel grupo, Paco Pepe, Basam, Mar¶³a,Dani, Marco y Nando... en esta ¶ultimaparte de la tesis sobre todo, han estado conmigo al 110%. A Carlos y a Mar¶³a,echar¶ede menos los saludos ma~nanerosde uno y los abrazos de la otra. A mis excompa~nerosy amigos de Electr¶onicaque se lo merecen todo, en especial a Ricardo, V¶³ctor,Rui, Vincent, Belenchu, Charo y Cristina. Ad Alberto Broggi e Massimo Bertozzi per avermi accolto nel Vislab. A tutti i componenti del gruppo, in particolare a Pierpa e Paolo M. con i quali ho lavorato pi`ua stretto contatto e ho sempre potuto contare su di loro. A Barbara. A Isabella, che sempre si `emostrata disponibile e mi ha sostenuto sia in ambito lavorativo che personale, non ho parole per esprimere la mia gratitudine per la sua amicizia, senza di lei la mia permanenza sarebbe stata sicuramente diversa. A Manuela, l'allegria fatta persona, a lei devo tutto vii l'italiano che conosco. FÄurDietrich Paulus, Direktor der AGAS an der UniversitÄatKoblenz, wegen seiner Gro¼zÄugigkeit, seiner uneingeschrÄanktenVerfÄugbarkeit zur Ver- besserung meiner Arbeit und der KletterausflÄuge. FÄuralle Mitglieder der UniversitÄatsgruppe, durch deren warmherzige Aufnahme mein Aufenthalt zu den besten Monaten meiner Promotion wurde, indem sie mich bei meiner Arbeit unterstÄutztund mich auch au¼erhalb der Arbeit zu Unternehmungen eingeladen haben. FÄurMarina, Benjamin, Johannes H., Detlev, Johannes P., Vinh, Wolfram, Peter, Marcin, Frank, Kerstin, Olaf, Antje, Christian und vor allem Stephan, ein Freund, den man sich nicht besser vorstellen kann. A mis amigos de siempre, los que aguantan todos mis defectos y me regalan todas sus virtudes: Jacobo, Jos¶e,Ana, Iv¶an, Alex,¶ Fer, Antonio, Inma, Juanma, Jesusfer y Mar¶³a, Jes¶us,Bea, Thomas, Marta, Marijose y Silvia. A los Arcilla-Cobi¶an,mi referente en muchos sentidos y mi segunda fa- milia, nunca podr¶epagarles tanto cari~noy atenci¶oncomo me han dado. A mi familia al completo, especialmente a Mayte y Bego~nay sobre todo a mis t¶³osBel¶eny Juan, los mejores: me han dado apoyo, cari~no,comprensi¶on, me han aguantado en su casa cuando las jornadas laborales se alargaban hasta l¶³mitesinsanos, y siempre han tenido la palabra justa en el momento exacto para hacer que me sintiera mejor sin esconder la realidad. Cuando sea mayor, m¶asmayor quiero decir... quiero ser como ellos. Por ¶ultimoa mi madre, la m¶asimportante. Todo cambiar¶ay seguro que ella seguir¶aah¶³. De ella aprend¶³a no rendirme y a luchar por lo que quiero con u~nasy dientes. Le debo todo lo que soy y este trabajo le est¶a especialmente dedicado. Resumen Los accidentes de tr¶a¯coson un grave problema socioecon¶omico.Obviamente el coste humano es imposible de evaluar y el econ¶omicosupone un continuo e ingente gasto de dinero por parte de los gobiernos. Se han propuesto dife- rentes soluciones para paliar los efectos de los accidentes, una de las cuales, los Sistemas Avanzados de Ayuda a la Conducci¶on,son el marco en el que se encuadra el presente trabajo. Estos sistemas, como su nombre indica, asisten al conductor ofreci¶endoleinformaci¶ondel entorno o actuando en de- terminadas circunstancias para la salvaguarda de los ocupantes del veh¶³culo, o para facilitar la conducci¶on. El sistema que se propone en esta tesis es una plataforma multiprop¶osito original en su concepci¶on,cuyo ¯n m¶asinmediato es reconocer las se~nales de tr¶a¯code prohibici¶on,peligro, ceda el paso, obligaci¶one indicaci¶on. La informaci¶onobtenida de ese reconocimiento se integra dentro de un m¶odulo de aviso al conductor. Lo que se pretende es que el conductor conozca en todo momento si est¶acontraviniendo alguna norma de circulaci¶onderivada de una velocidad o maniobra inadecuada para el tipo de se~nalque se ha reconocido. Dado que este sistema est¶aembarcado en un veh¶³culo,deber¶acumplir dos requisitos de especial importancia: funcionar en tiempo real y tanto en entorno urbano como en autopista. El primero cobra especial relevancia si se piensa en que la seguridad de los ocupantes del veh¶³culoy de los peatones puede depender de los avisos que permitan al conductor anticiparse a un peligro. La segunda, que es una aportaci¶onoriginal, garantiza que el sis- tema funcionar¶aen v¶³asdonde la velocidad es mayor y por tanto tambi¶enla probabilidad y gravedad de un posible accidente. El sistema, como se dec¶³aanteriormente, sirve al desarrollo de otras apli- caciones, como es el caso del inventariado autom¶aticode se~nalesde tr¶a¯co, tan en auge actualmente. ix El sistema de asistencia a la conducci¶onpropuesto condensa todas aquel- las etapas que hist¶oricamente se han ido sumando a este tipo de aplicaciones: detecci¶onde la se~nal,clasi¯caci¶on(extracci¶onde la informaci¶ondel s¶³mbolo) y seguimiento de la se~nal. En el documento se tratan en profundidad e introductoriamente los dis- tintos espacios de color y componentes de los mismos que mejor se adec¶uan a la b¶usquedade se~nalesen la imagen. La t¶ecnicade emparejamiento de pa- trones con la que se detectan las se~nalesse optimizar¶amediante este estudio, as¶³como el de los modelos que se utilizan para cada tipo de se~nal. En la parte de reconocimiento se har¶auso de las dos herramientas m¶as importantes utilizadas hasta el momento en reconocimiento de objetos: em- parejamiento de modelos y redes de neuronas. Se har¶auna comparaci¶on de las dos t¶ecnicas,con especial atenci¶onal preprocesado de la imagen, de manera que los resultados sean ¶optimos. Finalmente se aborda el problema del seguimiento de la se~nal.La prop- uesta es un modelo basado en el movimiento de la c¶amaraque, solidaria al veh¶³culo,cambia su posici¶onrespecto a una se~nalde tr¶a¯coque se toma como referencia. El sistema est¶aimplementado en una plataforma experimental bajo condi- ciones reales. Esto y la variedad de experimentos que se muestran para cada una de las partes en que se divide el sistema, corroboran su utilidad y efec- tividad. Abstract Road tra±c accidents are a serious socio-economic problem, where the cost of human life is impossible to evaluate, and cause massive and continuous government spending. Di®erent solutions have been proposed to reduce the e®ects of accidents, one of which, Advanced Driver Assistance Systems, forms part of the framework which encompasses the current investigation work presented in this thesis. These systems, as their name suggest, assist the driver by providing vital information on the tra±c environment or by acting under speci¯c circumstances to safeguard the occupants of the vehicle, or to facilitate driving. A multitask driver assistance platform is originally presented as part of the research work of this thesis, among other tasks, it has been designed to recognize road signs in both urban and non-urban environments. The road signs that have been considered are: prohibition, danger, yield, obligation and indication. The information obtained from the road sign recognition process forms part of a complete module that advises drivers on tra±c circu- lation requirements. The primary objective of this work has been to increase driver awareness, at all times, on the legal limitations which have established for road safety. The two areas which have been considered in this thesis are the velocity of the vehicle and the velocity of the vehicle correspond- ing to incorrect driving manoeuvres both of which are controlled using the information contained within road signs.