FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO Mobile Web-Browser Reconnaissance João Miguel de Carvalho Magalhães Relatório de Preparação para a Dissertação Mestrado Integrado em Engenharia Electrotécnica e de Computadores Major Telecomunicações Orientador: Professor Doutor Miguel Pimenta Monteiro Co-orientador: Mestre Pedro Fortuna Julho 2010 c João Magalhães, 2010 Resumo Actualmente a indústria de telefones móveis está a sofrer um forte desenvolvimento onde já é possível a um utilizador, através do seu telefone móvel, aceder à Web, consultar o email, reproduzir conteúdo multimédia, entre outras coisas que normalmente só eram possíveis em computadores tradicionais. Este facto está a levar que cada vez mais utilizadores comecem a usar o telefone para aceder à Internet substituindo este o computador tradicional. Com este incremento súbito do número de acessos, aumenta também o risco de se verificar fraudes na Web, como por exemplo o Click Fraud. É de forma a detectar a Click Fraud que surge este projecto. Neste documento, começamos então por fazer uma introdução dos intervenientes no projecto assim como uma introdução do problema a resolver. De forma a dar a conhecer a problemática do tema foi desenvolvido um capítulo sobre publicidade online onde foram analisados os diferentes tipo de publicidade na Internet, aos modelos de negócio existentes onde se englobou os vários modelos de receitas e o volume de negócio. Feita esta análise foi efectuada uma análise à problemática do Click Fraud assim como das técnicas mais usadas para o praticar. Feita esta contextualização do problema percebe-se então qual a importância das técnicas de identificação de browsers para a detecção do Click Fraud. Dessa forma foram analisadas as características dos Browsers Móveis assim como assimiladas as suas limitações e particularidades. De forma complementar foram também analisadas as características das plataformas mais vulgares no acesso à internet por meio móvel. Para concluir, procedeu- se à investigação das técnicas de identificação de browsers que pudessem ser utilizadas para a identificação de browsers móveis. i ii Abstract Today the mobile phone industry is undergoing a strong development where is already possible for a user, via their mobile phone, access the Web, check email, play media content among other things that usually is only possible in traditional computers. This is leading more and more users to start using the phone for Internet access replacing this way the traditional computer. With this sudden increase in the number of mobile Internet accesses, it also increases the risk of fraud on the Web, such as Click Fraud. This project was born from the need to detect Click Fraud. In this document, we begin by making an issue of the project participants as well as an in- troduction to the problem that need to be solved. In order to make known the problems of Click Fraud was developed a chapter on online advertising where we analyzed the different types of advertising on the Internet to existing business models which included the various revenue models and the business revenue. Following this analysis it was examined the issue of Click Fraud as well as the most used techniques for its practice. Once the contextualization of the problem is done we realize the importance of the browser identification techniques in the detection of Click Fraud. That way we analyzed the characteristics of Mobile Browsers and assimilated their limitations and peculiarities. In a complementary way were also analyzed the characteristics of the most common platforms used in the Internet access via mobile. To conclude, we proceeded to investigate the browser identification techniques that could be used to identify mobile browsers. iii iv Agradecimentos Desejo agradecer ao meu orientador, Mestre Pedro Fortuna por toda a simpatia e apoio pres- tado. v vi Conteúdo 1 Introdução1 1.1 Apresentação da AuditMark . .1 1.2 Introdução do Problema . .1 1.3 Objectivos . .2 1.4 Estrutura do Documento . .2 2 Publicidade Online3 2.1 Tipos de Publicidade Online . .3 2.1.1 Publicidade Via Web . .4 2.1.2 Publicidade Via E-mail . .4 2.2 Modelos de Negócio . .5 2.2.1 Modelos de Receita . .6 2.2.2 Volume de Negócio . .7 2.3 Click Fraud . .8 2.4 Conclusão . 10 3 Browsers de Plataformas Móveis 11 3.1 Plataformas Móveis . 12 3.2 Browsers Moveis . 14 3.3 Conclusão . 19 4 Reconhecimento de Browsers 21 4.1 Técnicas de Reconhecimento de Browers . 21 4.1.1 Análise dos Cabeçalhos HTTP . 22 4.1.2 Document Object Model . 24 4.1.3 HTTP Persistent Connections . 26 4.2 Funcionamento do AuditService da AuditMark . 27 4.2.1 Módulo de recolha de dados . 27 4.2.2 Módulo Audit-PI . 28 4.2.3 Módulo de processamento de dados . 29 4.3 Conclusão . 29 5 Conclusão 31 5.1 Proposta de Solução . 31 5.2 Planificação do Trabalho a Desenvolver . 32 5.3 Conclusão . 33 Referências 34 vii viii CONTEÚDO Lista de Figuras 2.1 Diagrama de um modelo de negócio aplicavel à publicidade online . .6 2.2 Receitas Anuais com Publicidade Online, nos Estados Unidos da América. .8 2.3 Cota de Mercado das maiores agências publicitárias para a Internet . .8 3.1 Cotas de utilização de Sistemas Operativos para os diferentes continentes . 13 3.2 Cotas de utilização de Browsers Móveis para os diferentes continentes . 15 3.3 Arquitectura de um Browser . 16 4.1 Diferenças no uso do método GET entre Internet Explorer e Mozilla Firefox . 25 4.2 Diferenças no uso do método POST entre Internet Explorer e Mozilla Firefox . 26 4.3 Arquitectura do AuditService . 27 5.1 Diagrama de Gantt do Projecto . 32 ix x LISTA DE FIGURAS Lista de Tabelas 3.1 Comparação entre Sistemas Operativos Móveis . 14 3.2 Comparação entre Browsers Móveis . 18 4.1 Métodos HTTP . 23 4.2 Campos mais vulgares do método GET . 24 4.3 Comparação das técnicas de identificação de Browsers . 29 5.1 Lista das Tarefas . 32 xi xii LISTA DE TABELAS Abreviaturas e Símbolos Web World Wide Web WWW World Wide Web FEUP Faculdade de Engenhartia da Universidade do Porto URI Uniform Resource Identifier URL Uniform Resource Locator VoIP Voice over IP TCP Transmission Control Protocol HTTP Hypertext Transfer Protocol HTML HiperText Markup Language DHTML Dynamic HiperText Markup Language CPU Central Processing Unit OS Operating system JRE Java Runtime Environment RIM Research in Motion ROM Read only memory RAM Random access memory XML Extensible Markup Language CSS Cascading Style Sheets DOM Document Object Model MIME Multipurpose Internet Mail Extensions SSL/TLS Secure Sockets Layer/Transport Layer Security GPS Global Positioning System FTP File Transfer Protocol RFC Request for Comments W3C World Wide Web Consortium IETF Internet Engineering Task Force xiii xiv ABREVIATURAS E SÍMBOLOS Capítulo 1 Introdução Este capítulo tem como objectivo fazer a introdução do tema que irá ser desenvolvido assim como apresentar a empresa proponente da dissertação e as pessoas responsáveis pelo projecto. Assim será feita uma descrição do problema a resolver e serão delineados os objectivos propostos para a resolução do mesmo. 1.1 Apresentação da AuditMark A AuditMark, é uma start-up que se encontra sediada na UPTEC – Parque da Ciência e Tec- nologia da Universidade do Porto que tem como base a auditoria de tráfego proveniente de cam- panhas publicitárias online sendo um dos seus principais temas de trabalho a detecção de Click Fraud em anúncios publicitários. É neste contexto que se apresenta a proposta de dissertação da AuditMark sobre o tema “Mobile Web-Browser Reconnaissance”. Os orientadores da dissertação são o Professor Doutor Miguel Pimenta Monteiro, FEUP, e o Mestre Pedro Fortuna, AuditMark. 1.2 Introdução do Problema Presentemente está a haver um forte desenvolvimento da indústria de telefones móveis. Assim já existem telefones telefones que para além da efectuarem chamadas, conseguem aceder à Web, consultar o email, reproduzir conteúdo multimédia, entre outras coisas que normalmente só eram possíveis em computadores tradicionais. Este facto está a levar que cada vez mais utilizadores comecem a usar o telefone para aceder à Internet substituindo este o computador tradicional. Com este incremento súbito do número de acessos, aumenta também o risco de se verificar fraudes na Web, como por exemplo o Click Fraud. O ClickFraud é um esquema em que um utilizador clica em banners publicitários, sem qualquer interesse na publicidade, com o intuito de prejudicar a empresas publicitada ou obter algum dinheiro. Relativamente aos Web-Browsers de dispositivos 1 2 Introdução móveis estes possuem algumas características que os tornam diferentes dos browsers convencio- nais. Estes browsers, também chamados de micro-browsers, foram desenvolvidos tendo em conta as limitações tecnológicas e energéticas que os telefones móveis possuem. Assim, é normal estes browsers possuírem tecnologias que permitam reduzir a quantidade de dados transferidos ou pro- cessados. E é tendo por base estes factos que a AuditMark propôs o tema “Mobile Web-Browser Reconnaissance”, que irá ser dissertado neste documento. 1.3 Objectivos Para a realização deste projecto foram definidos os seguintes objectivos: 1. O primeiro objectivo centra-se na elaboração de novos perfis de browser para os browsers móveis mais vulgares. Estes perfis serão posteriormente integrados na base de dados de perfis já existentes para possibilitar a identificação deste tipo de browsers. 2. O segundo objectivo prende-se com a adaptação de uma solução já existente para a identifi- cação de browsers para que suporte a identificação de browsers móveis. Assim será neces- sário efectuar as alterações necessárias para que esta ferramenta já existente possa proceder à identificação dos browsers móveis. Com o cumprimento destes dois objectivos dar-se-á por concluído o projecto, integrando no serviço de auditoria da AuditMark uma ferramenta de detecção de browsers móveis. 1.4 Estrutura do Documento O documento encontra-se dividido em 5 capítulos.