Research Collection Doctoral Thesis An Efficient Bar Code Recognition Engine for Enabling Mobile Services Author(s): Adelmann, Robert Publication Date: 2011 Permanent Link: https://doi.org/10.3929/ethz-a-6665246 Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library Diss. ETH Nr. 19721 An Efficient Bar Code Recognition Engine for Enabling Mobile Services A dissertation submitted to ETH Zurich for the degree of Doctor of Sciences presented by Robert Adelmann Diplom-Informatiker, Albert-Ludwigs-University Freiburg born October 01, 1977 citizen of Germany accepted on the recommendation of Prof. Dr. Friedemann Mattern, examiner Prof. Dr. Elgar Fleisch, co-examiner Prof. Dr. Michael Rohs, co-examiner 2011 2 | Abstract Abstract | 3 Abstract In the area of pervasive computing, mobile phones have evolved into attrac- tive development platforms that show considerable potential when it comes to bridging the often-cited gap between the real and virtual world. They are ubiquitous, highly mobile, provide significant computing power, and increas- ingly also offer an abundance of built-in sensors. With the general availability of smartphones and affordable data rates, consumers are beginning to use their mobile phones to interact with physical products found in stores in or- der to access product-related information and services. To support this inter- action, consumer-oriented mobile applications require a fast and convenient way to identify products. Even though Near Field Communication (NFC) and Radio-Frequency Identification (RFID) technology is very promising for that purpose, the widespread use of RFID tags on retail products remains unlikely for the next years. In contrast, bar codes are ubiquitous on virtually all pack- aged consumer goods world-wide. Recognizing bar codes with mobile phones induces many challenges, how- ever. Blurry images from cameras without autofocus, but also shadows and glare, low video-image resolutions and limited computing power on many mass-market phones are just some of the inherent difficulties. Furthermore, developing applications for mobile phones still requires considerable exper- tise, despite the fact that mobile phones have evolved into attractive devel- opment platforms over the past years. This thesis addresses these issues with two main contributions: First, it pre- sents the design and implementation of a bar code recognition method for mobile phones that addresses the aforementioned challenges and, in particu- lar, is capable of recognizing bar codes in blurry images. It provides a com- parison with existing mobile bar code recognition engines on mobile phones and shows that the method presented outperforms other solutions in terms of scan speed and accuracy. The second contribution consists of a rapid proto- typing environment for mobile phones that enables even non-experts to de- velop novel mobile services that leverage the bar code recognition in a fast and easy way. 4 | Abstract Kurzfassung Im Bereich des Pervasive Computing haben sich Mobiltelefone mittlerweile zu attraktiven Entwicklungsplattformen entwickelt, die das Potential besitzen, den oft zitierten „Graben zwischen der realen und der virtuellen Welt“ zu überbrücken: Sie sind allgegenwärtig, portabel, verfügen über erhebliche Re- chenleistung und zunehmend auch über eine Vielzahl integrierter Sensoren. Durch die Verbreitung von Smartphones und die Verfügbarkeit von günstigen Datentarifen nutzen Konsumenten die Geräte zunehmend, um mit Produkten zu "interagieren" und Informationen sowie Dienste zu diesen abzurufen. Für solch eine Form der mobilen Interaktion ist eine Methode zur einfachen und schnellen Identifikation von Produkten unerlässlich. Obwohl sich hier Techno- logien wie Near Field Communication und RFID aufgrund ihrer zahlreichen Vorteile anbieten, ist ein grossflächiger Einsatz von RFID-Tags auf Produkten in den nächsten Jahren nicht zu erwarten. Im Gegensatz dazu sind Strichcodes heute auf nahezu allen Handelsgütern weltweit verbreitet. Die automatische Erkennung von Strichcodes mit Mobiltelefonen beinhaltet allerdings zahlreiche Herausforderungen: Unscharfe Bilder aufgrund von Ka- meras ohne Autofokus, aber auch Schatten und Glanzpunkte, geringe Bild- auflösungen oder beschränkte Ressourcen auf vielen Geräten stellen nur eini- ge der Schwierigkeiten dar. Obwohl sich Mobiltelefone in den letzten Jahren zu attraktiven Entwicklungsplattformen entwickelt haben, erfordert auch die Anwendungsentwicklung immer noch viel Zeit und Erfahrung. Die vorliegende Dissertation liefert zwei Beiträge, um diesen Herausforde- rungen zu begegnen: Der erste Beitrag besteht in der Entwicklung und Im- plementierung eines Verfahrens für die Erkennung von Strichcodes auf Mobil- telefonen, welches die genannten Schwierigkeiten adressiert und insbesonde- re in der Lage ist, Strichcodes auch in sehr unscharfen Bildern zu erkennen. Das vorgestellte Verfahren wird im Rahmen einer Nutzerstudie und einer de- taillierten Analyse mit bestehenden mobilen Lösungen zur Erkennung von Strichcodes verglichen. Es zeigt sich, dass die in dieser Arbeit präsentierte Erkennungstechnologie flexibler, schneller und genauer als alternative Lösun- gen ist. Der zweite Beitrag besteht aus einer Software-Entwicklungs- umgebung, welche es selbst mit der Mobiltelefonprogrammierung nicht ver- trauten Personen ermöglicht, schnell und unkompliziert neue, auf der Strich- codeerkennung basierende Dienste zu entwickeln. Abstract | 5 Contents Abstract 3 1 Introduction 9 1.1 Motivation ................................................................................................................... 9 1.2 General Challenges................................................................................................ 11 1.2.1 The Mobile Bar Code Recognition Process ...................................... 11 1.2.2 The Mobile Application Development Process ............................... 13 1.3 Contributions .......................................................................................................... 13 1.3.1 Bar Code Recognition Method .............................................................. 13 1.3.2 SPARK: A Rapid Prototyping Environment for Mobile Services13 1.4 Thesis Outline ......................................................................................................... 14 2 Background 15 2.1 Recognition Challenges ....................................................................................... 15 2.1.1 Blurry Images .............................................................................................. 15 2.1.2 Large Variety of Bar Codes Printed on Products ........................... 18 2.1.3 Lighting Conditions ................................................................................... 19 2.1.4 Large Variety of Mobile Phone Models ............................................. 20 2.1.5 User Behavior .............................................................................................. 21 2.2 Bar Code Basics ...................................................................................................... 22 2.2.1 Details of EAN13 Bar Codes .................................................................. 24 3 Recognition Algorithm 27 3.1 General Architecture ............................................................................................ 28 3.1.1 Code Presence and Orientation Detection........................................ 31 3.1.2 Scan Line Extraction and Adaptation ................................................. 37 3.1.3 Result Combination ................................................................................... 40 3.2 Sharp Decoder ........................................................................................................ 43 3.2.1 Waveform Binarization ............................................................................ 45 3.2.2 Symbology Module: Code Detection and Decoding ...................... 47 6 | Abstract 3.3 Blurry Decoder ....................................................................................................... 51 3.3.1 Our Approach.............................................................................................. 52 3.3.2 Recognition Tables and Table Selection ........................................... 55 3.3.3 Code Position and Symbology Detection .......................................... 59 3.3.4 Lighting Compensation ........................................................................... 65 3.3.5 Code Distortion Compensation ............................................................ 65 3.3.6 Pattern Comparison .................................................................................. 70 3.3.7 Result Combination ................................................................................... 77 3.3.8 Final False-Positive Check ...................................................................... 80 3.4 Related Work on Bar Code Recognition ....................................................... 82 3.4.1 Specialized Recognition Systems ......................................................... 83 3.4.2 Academic Work .......................................................................................... 83 3.4.3 Commercial Solutions .............................................................................. 87 3.5 Summary .................................................................................................................