ISSN: 1647-0818 Lingua

lingua Volume 12, Número 2 (2020)

ISSN: 1647-0818 lingua

Volume 12, N´umero 2 – 2020 Linguamatica´ ISSN: 1647–0818

Editores Alberto Simões JoséJoãoAlmeida Xavier GómezGuinovart

Conteúdo

Artigos de Investiga¸c˜ao

Adapta¸cãoLexical Automática em Textos Informativos do PortuguêsBrasileiro para o Ensino Fundamental Nathan Siegle Hartmann & Sandra Maria Alu´ısio ...... 3

Avaliando entidades mencionadas na cole¸c˜ao ELTeC-por Diana Santos, Eckhard Bick & Marcin Wlodek ...... 29

Avalia¸c˜aode recursos computacionais para o portuguˆes Matilde Gon¸calves, Lu´ısaCoheur, Jorge Baptista & Ana Mineiro ...... 51

Projetos, Apresentam-se!

Aplicaciónde WordNet e de word embeddings no desenvolvemento de prototipos para a xeraciónautomática da lingua Mar´ıaJoséDom´ınguezVázquez ...... 71

Editorial

Ainda hápouco publicávamosa primeira edi¸cãoda Linguamática e, subitamente, eis-nos a comemorar uma dúziade anos. A todos os que colaboraram durante todos estes anos, tenham sido leitores, autores ou revisores, a todos o nosso muito obrigado.

Nãoéfácilmanter um projeto destes durante tantos anos, sem qualquer financi- amento. Todo este sucesso égra¸cas a trabalho voluntário de todos, o que nos permite ter artigos de qualidade publicados e acess´ıveisgratuitamente a toda a comunidade cient´ıfica.

Nestes doze anos muitos foram os que nos acompanharam, nomeadamente na comissãocient´ıfica. Alguns dos primeiros membros, convidados em 2008, continuam ativamente a participar neste projeto, realizando revisõesapuradas.

Outros, por via do seu percurso académico e pessoal, jánãocolaboram connosco. Como sinal de agradecimento temos mantido os seus nomes na publica¸cão. No entanto, nãopodemos estar presos ao passado, pelo que deixamos aqui um agradecimento especial a alguns dos membros que irãodeixar de constar na comissãocient´ıfica, de forma ativa, e que passarãoa ser mencionados, no s´ıtioda revista, como anteriores colaboradores da Linguamática: Ana Frankenberg-Garcia, Antón Santamarina, Arantza D´ıaz de Ilarraza, Belinda Maia, Iñaki Alegria, Joseba Abaitua, Maria das Gra¸cas Volpe Nunes e Tony Berber Sardinha. O nosso muito obrigado!

Xavier Gómez Guinovart JoséJoãoAlmeida Alberto Simões

vii

Comissão Cientíﬁca

Alberto Alvarez´ Lugr´ıs, Gerardo Sierra, Manex Agirrezabal, Universidade de Vigo Universidad Nacional University of Copenhagen Autónoma de México Alberto Simões, Marcos Garcia, Instituto Politécnico do Cávado e Ave German Rigau, Universidade da Corunha Euskal Herriko Unibertsitatea Aline Villavicencio, Mar´ıa InésTorres, Universidade Federal do Helena de Medeiros Caseli, Euskal Herriko Unibertsitatea Rio Grande do Sul Universidade Federal de São Carlos Maria Gra¸cas Volpe Nunes, Alvaro´ Iriarte Sanroman, Horacio Saggion, Universidade de São Paulo Universidade do Minho University of Sheffield Mário Rodrigues, Ana Frankenberg-Garcia, Hugo Gon¸calo Oliveira, Universidade de Aveiro University of Surrey Universidade de Coimbra MercèLorente Casafont, Anselmo Peñas, Iñaki Alegria, Universitat Pompeu Fabra Universidad Nacional de Euskal Herriko Unibertsitatea Educación a Distancia Miguel Solla Portela, Irene CastellónMasalles, Universidade de Vigo AntónSantamarina, Universitat de Barcelona Universidade de Santiago de Mikel Forcada, Compostela Iria da Cunha, Universitat d’Alacant Universidad Nacional de Antoni Oliver González, Educación a Distancia Pablo Gamallo Otero, Universitat Oberta de Catalunya Universidade de Santiago de Joaquim Llisterri, Compostela Antonio Moreno Sandoval, Universitat Autònoma de Barcelona Universidad Autónoma de Madrid Patr´ıcia Cunha Fran¸ca, JoséJoãoAlmeida, Universidade do Minho António Teixeira, Universidade do Minho Universidade de Aveiro Patricia Martin Rodilla JoséPaulo Leal, Universidade de Santiago de Arantza D´ıaz de Ilarraza, Universidade do Porto Compostela Euskal Herriko Unibertsitatea Joseba Abaitua, Ricardo Rodrigues Arkaitz Zubiaga, Universidad de Deusto Instituto Politécnico de Coimbra Dublin Institute of Technology Juan-Manuel Torres-Moreno, Rui Pedro Marques, Belinda Maia, UniversitédÁvignon et Universidade de Lisboa Universidade do Porto des Pays du Vaucluse Susana Afonso Cavadas, Bruno Martins, Kepa Sarasola, University of Exeter Instituto Superior Técnico Euskal Herriko Unibertsitatea Tony Berber Sardinha, Carmen Garc´ıa Mateo, Karin Becker, Pontif´ıcia Universidade Universidade de Vigo UFRGS, Brasil Católica de São Paulo Diana Santos, Laura Plaza, Xavier Gómez Guinovart, Linguateca/Universidade de Oslo Complutense University of Madrid Universidade de Vigo Ferran Pla, Llu´ıs Padró, Universitat Politècnica de València Universitat Politècnica de Catalunya Gael Harry Dias, Lu´ısMorgado da Costa, Universitéde Caen Basse-Normandie Nanyang Technological University

Revisor Convidado: Nuno Escudeiro, Instituto Superior de Engenharia do Porto

Artigos de Investigação

Proposta recebida em Fevereiro 2020 e aceite para publica¸c˜aoem Agosto 2020.

Adapta¸cãoLexical Automáticaem Textos Informativos do PortuguêsBrasileiro para o Ensino Fundamental Automatic Lexical Adaptation in Brazilian Portuguese Informative Texts for Elementary Education

Nathan Siegle Hartmann Sandra Maria Alu´ısio Instituto de CiênciasMatemáticase Computa¸cão Instituto de CiênciasMatemáticase Computa¸cão Universidade de SãoPaulo, Brasil Universidade de SãoPaulo, Brasil [email protected] [email protected]

Resumo works independently deal with the Lexical Simplifi- cation and Elaboration tasks, bringing partial contri- A Adapta¸cãoTextual éuma grande área de pes- butions, since each task has its own challenges. This quisa do Processamento de L´ınguasNaturais (PLN), work proposed a pipeline for Lexical Adaptation and bastante conhecida como práticaeducacional, e pos- presents contributions in three of the four stages of the sui duas grandes abordagens: a Simplifica¸cãoe a Ela- Lexical Adaptation pipeline: (i) proposal and evalua- bora¸cãoTextual. Nãohámuitos trabalhos na litera- tion of methods for the Complex Word Identification tura de PLN que tratam todas as fases da Adapta¸cão task; (ii) corpus analysis to survey Lexical Elabora- Lexical para implementa¸cão de sistemas. Vários tion word definition standards; (iii) the SIMPLEX-PB trabalhos tratam independentemente as tarefas de 3.0 corpus, containing in its new version short defini- Simplifica¸cãoe Elabora¸cãoLexicais, trazendo contri- tions extracted from dictionaries that were manually bui¸cõesparciais, jáque cada uma das tarefas pos- revised, annotations of technical terms extracted from suem seus própriosdesafios. Este trabalho propôs a dictionary, and linguistic metrics of lexical comple- um pipeline para a Adapta¸cãoLexical e apresenta xity; and (iv) proposal and evaluation of methods for contribui¸cõespara trêsdas quatro etapas do pipe- Lexical Simplification, establishing a new SOTA for line, sendo elas: (i) proposta e avalia¸cãode métodos the task applied in Brazilian Portuguese. para a tarefa de Identifica¸cãode Palavras Complexas; (ii) análisede córpuspara levantamento de padrões Keywords de Elabora¸cãoLexical do tipo defini¸cão;(iii) dispo- text adaptation, lexical simplification, lexical elabo- nibiliza¸cão do córpus SIMPLEX-PB 3.0, contendo ration, reading aid for children em sua nova versãodefini¸cõescurtas extra´ıdasde di- cionárioque foram revisadas manualmente, anota¸cões de termos técnicosextra´ıdasde dicionário,e métricas lingu´ısticasde complexidade lexical; e (iv) proposta e 1. Introdu¸cão avalia¸cãode métodos para Simplifica¸cãoLexical, es- tabelecendo um novo SOTA para a tarefa aplicada no Dada a importânciado ensino da leitura e com- PortuguêsBrasileiro. preensão de textos em âmbito mundial e aos constantes progressos na áreade Processamento Palavras chave de L´ınguas Naturais (PLN) nos últimosanos, adapta¸cãotextual, simplifica¸cãolexical, elabora¸cão tem havido um grande interesse de pesquisa na lexical, aux´ılioàleitura de crian¸cas adapta¸cãoautomáticade textos escritos a fim de torná-losacess´ıveis para um númeromaior de pessoas (Siddharthan, 2006; Bultéet al., 2018; ˇ Abstract Pasqualini, 2018; Stajner et al., 2019), como adultos com baixa escolaridade (Max, 2006; Wa- Text Adaptation is a large Natural Language Pro- tanabe et al., 2010; Amancio, 2011; Alu´ısio & cessing (NLP) research area, well known as educatio- Gasperin, 2010; Barlacchi & Tonelli, 2013; Pas- nal practice and has two main approaches: Simplifica- qualini, 2018), crian¸cas (Mihalcea & Csomai, tion and Text Elaboration. There is not much work in 2007; De Belder & Moens, 2010; Trieschnigg & the NLP literature that addresses all phases of Lexi- Hauff, 2011; Kajiwara et al., 2013), aprendizes de cal Adaptation for systems implementation. Several uma segunda l´ıngua(Gardner & Hansen, 2007; Petersen & Ostendorf, 2007; Paetzold & Spe- DOI: 10.21814/lm.12.2.323 Linguamatica´ — ISSN: 1647–0818 This work is Licensed under a Creative Commons Attribution 4.0 License Vol. 12 Núm. 2 2020 - Pág.3–27 4– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio cia, 2017), indiv´ıduos com deficiênciascogniti- Um sistema automáticopara simplifica¸cãole- vas (Bott et al., 2012), indiv´ıduos surdos (Inui xical realiza os seguintes passos em pipeline, con- et al., 2003; Chung et al., 2013), afásicos(De- forme apresentado na Figura1: vlin & Tait, 1998; Devlin & Unthank, 2006; Rello et al., 2013b) e disléxicos(Rello et al., 2013b,a). 1. dada uma senten¸ca,selecionam-se as palavras A Adapta¸cãoTextual éuma áreade pesquisa ou expressõesque sãoconsideradas complexas do PLN bastante conhecida como práticaedu- para um leitor e/ou tarefa computacional; cacional e possui duas grandes abordagens - a 2. buscam-se substitutos, geralmente usando re- Simplifica¸cão e a Elabora¸cão Textual (Mayer, positórioscomo as wordnets; ˇ 1980; Young, 1999; Saggion, 2017; Stajner & 3. filtram-se os substitutos para se recuperar ape- Saggion, 2018; Arféet al., 2018). A primeira nas os sinônimoscom o mesmo sentido usado pode ser definida como qualquer tarefa que re- no contexto da senten¸caoriginal; e duza a complexidade lexical ou sintáticade um texto enquanto tenta preservar seu significado 4. ranqueiam-se os substitutos segundo o critério (Siddharthan, 2006, 2014), tendo um grande im- de simplicidade para o leitor e/ou tarefa. Nor- pacto na leiturabilidade (ou inteligibilidade) de malmente, a frequênciaem um grande córpus um texto; pode ser dividida nas técnicas:(i) Sim- da l´ınguaalvo e o tamanho das palavras são plifica¸cãoLexical, (ii) Simplifica¸cãoSintáticae utilizados como critériode simplicidade. (iii) Sumariza¸cãoAutomática. A segunda tem 5. Apósa escolha do sinônimoadequado, háa impacto na compreensibilidade de um texto, isto troca da palavra em foco pelo sinônimose- é, na facilidade com que um texto pode ser lecionado, que pode pedir ajustes na escrita compreendido e também no aumento do voca- das palavras da ora¸cão,como a adequa¸cãode buláriodo leitor, pois se utiliza de um conjunto gênero,númeroe grau. de técnicas para inserir material redundante, por exemplo: (i) adi¸cãode sinônimos/antônimos ao lado de palavras ou expressões complexas, (ii) defini¸cãode conceitos, ou ainda (iii) tornar expl´ıcitas as conexõesentre as ideias do texto (Mayer, 1980; Alu´ısio& Gasperin, 2010). A Adapta¸cãoLexical, foco deste trabalho, é uma subáreada Adapta¸cãoTextual, trazendo as técnicasde Elabora¸cãoe Simplifica¸cãoLexicais, apresentadas a seguir. A Elabora¸cãoLexical tem a fun¸cãode auxiliar a compreensibilidade de um texto, familia- rizando termos ou palavras desconhecidas para Figura 1: Pipeline tradicional para a tarefa de um dado leitor. Ela érealizada com a adi¸cãode Simplifica¸cãoLexical (Specia et al., 2012), ilus- informa¸cõesredundantes como uso de defini¸cões trado com exemplos do Português. via links nas própriaspalavras1 ou ao lado das palavras complexas via uso de informa¸cõespa- Assim como o pipeline apresentado para a ta- rentéticas, paráfrases, e apostos (Urano, 2000; refa de Simplifica¸cãoLexical, podemos idealizar Bulté et al., 2018). Essa redundânciade in- um fluxo de processamento para a grande tarefa forma¸cãoaumenta a coesãodo texto e, conse- de Adapta¸cãoLexical (Figura2), que tem como quentemente, torna-o mais compreens´ıvel (Cros- propósitodecidir quando elaborar ou simplificar sley et al., 2011). Jáa Simplifica¸cãoLexical se as palavras de um texto, segundo as necessida- realiza com a troca de palavras ou expressões des do leitor e cenáriode uso do texto. Para por varia¸cões(geralmente sinônimos)que podem um dado texto, ou senten¸ca: (i) identificam-se as ser entendidas por um maior númerode pessoas palavras complexas; (ii) decide-se qual a melhor (Stajnerˇ & Saggion, 2018). Ao utilizarmos pala- abordagem de adapta¸cãopara cada palavra (sim- vras menos frequentes/raras, nãoestamos apenas plifica¸cãoou elabora¸cão);e (iii) adapta-se cada auxiliando o leitor a compreendê-la,mas também palavra complexa identificada, segundo a abor- a compreender todo o texto, que ficarámais sim- dagem de adapta¸cãolexical selecionada. ples (Crossley et al., 2007, 2011). A Adapta¸cãoLexical é importante porque, para os leitores compreenderem o contexto do trecho que estãolendo, eles precisam relacionar 1Um exemplo deste tipo pode ser visto na Wikipédiae o seu conhecimento léxico-semântico para inferi- em Amancio(2011). rem o significado das palavras (de Sousa et al., Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 5

2020). Quando o foco é um públicoalvo es- A Se¸cão2 apresenta trabalhos relacionados pec´ıfico como, por exemplo, crian¸cas, devemos da área de Adapta¸cão Lexical e o estado da considerar que as limita¸cões da compreensãolei- arte para as tarefas de Elabora¸cão e Simpli- tora acarretam em uma dificuldade no estabele- fica¸cãoLexicais. A Se¸cão3 apresenta a última cimento de rela¸cõessemânticas das palavras no versãodo SIMPLEX-PB, um córpusde suporte texto. Essa dificuldade impossibilita os leito- àAdapta¸cãoLexical que ao longo dos últimos res desconsiderarem as informa¸cõesirrelevantes e anos foi evoluindo e hoje contém,alémde ou- manterem as informa¸cõesrelevantes na memória tras informa¸cões:senten¸cas,suas palavras com- de trabalho (Henderson et al., 2013). Em re- plexas, sinônimosranqueados de acordo com sua sumo, as dificuldades no n´ıvel lexical acarretam complexidade pelo públicoalvo (crian¸cas),e de- complica¸cõesna compreensãoglobal de um texto, fini¸cõescurtas para as palavras complexas. A evidenciando a importânciada adapta¸cãolexical Se¸cão4 apresenta o levantamento de padrõesde de textos para certos públicos(de Sousa et al., Elabora¸cãoLexical do tipo defini¸cão,via análise 2020). de córpus,para apoiar a decisãode quando usar Elabora¸cãoLexical. A Se¸cão5 apresenta os da- Simplificação Lexical tasets compilados (Se¸cão5.1), a descri¸cãodos métodos desenvolvidos para Identifica¸cãode Pa- lavras Complexas (Se¸cão5.2), a avalia¸cãodesses métodos, usando as métricasF1 e AUC (do inglês

Texto Original Identificação de Seleção de Texto Adaptado Area Under Curve ROC - tambémdo inglês Re- palavras complexas Abordagem de Adaptação Lexical ceiver Operating Characteristic) (Se¸cão5.3), e

Elaboração Lexical como aplicamos esses métodos na tarefa de Sim- plifica¸cãoLexical no cenáriodo públicoinfan- Figura 2: Pipeline para a tarefa de Adapta¸cão til, avaliando eles no dataset SIMPLEX-PB 3.0 Lexical. (Se¸cão5.4). A Se¸cão 5.5 apresenta o Adapt2Kids, um site para demonstrar a aplica¸cãodos métodos Este trabalho apresenta contribui¸cõesem três e recursos de simplifica¸cãolexical avaliados neste das quatro etapas do pipeline de Adapta¸cãoLe- artigo. Por fim, a Se¸cão6 apresenta as conclusões xical, sendo elas: deste estudo e os trabalhos futuros. Identifica¸cão de Palavras Complexas - Proposta de 12 métodos, contabilizando 153 2. Trabalhos Relacionados diferentes varia¸cõespara a tarefa de Identi- fica¸cão de Palavras Complexas, avalia¸cão e Nãohámuitos trabalhos na literatura de PLN apresenta¸cãodos melhores resultados obtidos; sobre Adapta¸cão Lexical, na atualidade. Ao Análise de córpus para levantamento de invésdisso, tratam independentemente as tare- padrões de Elabora¸cão Lexical do tipo fas de Simplifica¸cãoe Elabora¸cãoLexicais, já defini¸cão e apresenta¸cão dos padrões e que cada uma possui seus própriosdesafios. O ocorrênciasidentificadas para apoiar a decisão tutorial sobre Simplifica¸cãoTextual apresentado de quando usar Elabora¸cãoLexical; por Stajnerˇ e Saggion no Coling 2018 (Stajnerˇ & Saggion, 2018), inclusive, traz a tarefa de ela- Elabora¸cão Lexical - Disponibiliza¸cão do 2 bora¸cãocomo um dos módulosda Simplifica¸cão córpus SIMPLEX-PB 3.0 contendo, além Textual, juntando a ela também a tarefa de dos recursos do SIMPLEX-PB 2.0 (Hartmann redu¸cão/elimina¸cãode conteúdo. Neste artigo, et al., 2020), defini¸cõescurtas extra´ıdasde di- preferimos, entretanto, tratá-lasde forma inde- cionárioe revisadas manualmente, anota¸cões pendente. de termos técnicosextra´ıdasde dicionário,e métricaslingu´ısticasde complexidade lexical, O trabalho de Bultéet al.(2018), descrito proporcionando tambémo uso do recurso em abaixo, foi, no melhor do nosso conhecimento, estudos de Elabora¸cãoLexical; e um desses raros casos que abordou a grande tarefa de Adapta¸cãoLexical, desenvolvendo um pi- Simplifica¸cão Lexical - Proposta de peline de Adapta¸cãoLexical para o Holandês. métodos para Simplifica¸cãoLexical e estabe- Primeiro, a complexidade de cada palavra é lecimento de um novo estado da arte (SOTA, estimada pela consulta da sua Idade de Aquisi¸cão em inglês)para a tarefa aplicada no Português em recursos psicolingu´ısticose a sua frequência Brasileiro. no córpus Wablief, de holandês simplificado. 2https://github.com/nathanshartmann/SIMPLEX- Uma palavra écomplexa se ela ultrapassar um PB-3.0 limiar pré-estabelecido dessas duas features. Os 6– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio sinônimospara a palavra complexa sãoconsul- vros infantis variou, pois a l´ınguavaria com o pas- tados no Cornetto (Vossen et al., 2013) e esses sar do tempo, e esse processo faz com que pala- sãoconsiderados mais simples quando a Idade vras caiam em desuso. A divergênciade palavras de Aquisi¸cãoe Frequênciaforem inferiores àpa- utilizadas chega a 42% comparando textos pro- lavra complexa. Por fim, um modelo de l´ıngua duzidos em 1.825 e textos produzidos em 1.925. éacionado para verificar se a palavra de subs- Essa diferen¸cade vocabulárioindica que crian¸cas titui¸cãoselecionada se encaixa no contexto em no século21 podem encontrar dificuldades ao ler questão. Os autores elaboram: (i) as palavras esse tipo de material literário.Nesse cenário, Tri- identificadas como dif´ıceisque nãoforam simpli- eschnigg & Hauff(2011) propuseram um método ficadas pelo sistema, (ii) as palavras compostas, de Elabora¸cãoLexical que busca a defini¸cãode e (iii) os nomes próprios,enriquecendo o texto uma palavra dif´ıcil no Wiktionary3 e apresen- com informa¸cões da Wikipedia (defini¸cõese links tam ela ao leitor, auxiliando as crian¸casnativas nas palavras). da l´ınguainglesa na leitura dessas históriasdos séculospassados.

2.1. Trabalhos de Elabora¸cãoLexical 2.2. Trabalhos de Simplifica¸cãoLexical Nãohámuitos trabalhos na áreade Elabora¸cão Textual que propuseram métodos computacio- Devlin & Tait(1998) coordenaram o projeto nais. Trabalhos da áreada educa¸cãocom foco PSET (Practical Simplification of English Text), no ensino do inglêscomo segunda l´ıngua(Tsang, o primeiro trabalho da literatura com foco na 1987; Yano et al., 1994; Urano, 2000) avaliaram simplifica¸cãoautomáticade textos, para torná- o seu uso no aux´ılioda leitura em vez de auto- los acess´ıveis para pessoas com afasia. Os autores matizar a tarefa. Trêstrabalhos que propuseram focaram na simplifica¸cãolexical de substantivos e métodos para a tarefa de Elabora¸cãoLexical são adjetivos complexos, apenas. Para a identifica¸cão os de Mihalcea & Csomai(2007), Amancio(2011) de palavras complexas, os autores consultaram a e Trieschnigg & Hauff(2011). Esses trêstraba- frequênciadas palavras no Oxford Psycholinguis- lhos fizeram uso de recursos obtidos da Web para tic Database (Quinlan, 1992). Para a sele¸cãode elaborar palavras complexas. palavras candidatas a substituir a palavra com- Em um cenárioeducacional, éimportante que plexa, buscaram todos os sinônimosda palavra os alunos tenham um fácilacesso àinforma¸cão complexa na WordNet (Fellbaum, 1998). 4 adicional relacionada ao material de estudo. O O projeto PorSimples (Alu´ısio& Gasperin, trabalho de Mihalcea & Csomai(2007) propõe 2010) foi o pioneiro em simplifica¸cãolexical e um método de Elabora¸cãoLexical que pode ser sintáticapara o Português. O públicoalvo do utilizado para relacionar parte do conteúdodo projeto foram adultos com baixa escolaridade. material escolar a enciclopédiasou notas de aula, Os autores criaram uma lista de palavras simples por exemplo. O método proposto pelos autores, composta de palavras do DicionárioIlustrado de chamado de Wikify!, identifica conceitos impor- Português(Biderman, 2003) para crian¸casde 6 a tantes em um texto e conecta esses conceitos a 11 anos, acrescida de uma lista de palavras dos uma páginarelacionada da Wikipedia, permi- textos do jornal Zero Hora, Se¸cão Para seu Filho tindo ao leitor entender um termo ou conceito Ler e de palavras concretas do trabalho de Janc- desconhecido ou simplesmente se informar me- zura et al.(2007). Os autores definiram palavras lhor sobre o assunto. complexas como aquelas nãocontidas na lista de Amancio(2011) desenvolvou um trabalho de palavras simples. Elabora¸cãoLexical para adultos com baixa es- O trabalho de Bott et al.(2012) desenvolveu colaridade, no escopo do projeto PorSimples o sistema LexSiS, um sistema de Simplifica¸cão (Alu´ısio& Gasperin, 2010). Os autores propu- Lexical baseada em substitui¸cãopor sinônimos, seram dois métodos de Elabora¸cãoLexical. O para textos em espanhol. Os autores também primeiro ébaseado em um modelo que gera per- modelaram as palavras do léxicopor meio de mo- guntas que explicitam a liga¸cãoexistente entre o delagem vetorial treinada sobre um córpusde 8M verbo da senten¸ca(evocador) e suas constituintes de palavras extra´ıdoda Web. Primeiro, os au- (ou argumentos). O segundo modelo apresenta tores buscaram sinônimospara a palavra com- 5 defini¸cõespara Entidades Nomeadas a partir de plexa no OpenThesaurus . Então,eles geraram consultas na Wikipédia. 3https://www.wiktionary.org Trieschnigg & Hauff(2011) analisaram livros 4Simplifica¸cãoTextual do Portuguêspara Inclusãoe de literatura infantil produzidos entre os anos Acessibilidade Digital. 1.800 e 1.925 e perceberam que a escrita desses li- 5http://openoffice-es.sourceforge.net/ Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 7 uma representa¸cãovetorial para o 10-gram cen- um grande córpuspara treinamento do modelo trado na palavra complexa, de forma a modelar de embeddings. Foi usado o modelo de embed- o contexto em que ela ocorre. O substituto es- dings GloVe (Pennington et al., 2014) e os can- colhido éo sinônimocuja representa¸cãovetorial didatos a substituirem a palavra complexa eram tenha o maior valor de similaridade pelo cosseno aqueles com menor distânciado cosseno entre a com a representa¸cãodo contexto da palavra ori- embedding da palavra candidata e a da palavra ginal. Essa abordagem tambémobteve resulta- complexa. dos superiores a baselines que utilizavam apenas Apesar do aumento das iniciativas de pes- conhecimento lexical, selecionando o sinônimo quisas em Simplifica¸cãoLexical apósa SemE- mais frequente do OpenThesaurus como substi- val 2012 Text Simplification shared task, ainda tuto. LexSiS foi incorporado no sistema Sim- nãohavia ferramentas que dessem apoio ao de- plext (Saggion et al., 2015), que trata também senvolvimento de sistemas de Simplifica¸cãoLexi- a Simplifica¸cãoSintáticapara o espanhol, e é cal ponta a ponta (como o pipeline apresentado composto por três módulos: o módulode Sim- na Figura1). O trabalho de Paetzold & Spe- plifica¸cãoSintática, o móduloLexSiS, que faz cia(2015) veio suprir essa demanda com o sis- a Simplifica¸cãoLexical baseada em sinônimos, tema LEXenstein, um framework para desenvol- e um módulode Simplifica¸cãoLexical baseado vimento de sistemas para Simplifica¸cãoLexical. em regras que cobre simplifica¸cõesnãoresolvidas Em um trabalho subsequente (Paetzold & Spe- pelos módulosanteriores como normaliza¸cãode cia, 2017), os autores propuseram um método es- verbos de elocu¸cão,redu¸cãodo conteúdode sen- tado da arte para a tarefa de Simplifica¸cãoLexi- ten¸cas,e redu¸cão,explica¸cãoou normaliza¸cãode cal, aperfei¸coandoo método de Glavaˇs& Stajnerˇ informa¸cãonumérica. (2015) e propondo um ranker, que recebe duas Kajiwara et al.(2013) desenvolveram um tra- palavras e retorna qual delas émais simples. balho em Simplifica¸cãoLexical para o Japonês. Sabe-se que crian¸cas estão em fase de aprendizado e exposi¸cãoàl´ıngua falada e escrita e, 3. O córpusSIMPLEX-PB 3.0 portanto, elas possuem um vocabuláriomenor do que o dos adultos, em geral. Nesse sentido, O SIMPLEX-PB (Hartmann et al., 2018) (ou háa necessidade de adequar textos de alguns somente SIMPLEX) éum córpusoriginalmente gênerospara que as crian¸casestejam aptas a lê- concebido para avalia¸cãode métodos de Simpli- los. Os autores simplificaram textos jornal´ısticos fica¸cãoLexical em PortuguêsBrasileiro, criado utilizando apenas palavras contidas no dicionário e disponibilizado ao públicocomo um esfor¸co BVL (Basic Vocabulary to Learn)(Mutsuro & para fomentar a pesquisa na área. Ele contém Toshihiro, 2002), em que as palavras complexas 1.719 instânciassegundo a propor¸cãode palavras sãoas chaves (palavras de consulta) do dicionário de conteúdoencontradas no corpus (Hartmann e todas as palavras contidas na descri¸cãoda paet al., 2016): 56 % substantivos, 18% adjetivos, lavra complexa sãocandidatas a substitu´ı-la. 18% verbos e 6% advérbios.A partir dessa distri- O trabalho de Glavaˇs& Stajnerˇ (2015) apre- bui¸cão,háainda uma subdivisãoigualmente dis- senta o sistema Light-LS, que trata a tarefa de tribu´ıdapara favorecer: palavras mais frequen- Simplifica¸cãoLexical por meio de uma aborda- tes, palavras com maior númerode sinônimose gem nãosupervisionada de Machine Learning. palavras com mais sentidos. Ao todo, 757 pala- Os autores advogam que o uso de córpussimpli- vras distintas foram identificadas como comple- ficados e recursos como wordnets para busca de xas para crian¸casem idade para cursar o Ensino sinônimosdificulta a implementa¸cãode sistemas Fundamental. de Simplifica¸cãoLexical naquelas l´ınguasque não O córpuscontémuma lista de sinônimospara possuem córpus e recursos robustos como os en- cada palavra complexa. A gera¸cãodessa lista contrados para o inglês. Os autores ainda argu- de sinônimosfoi feita a partir de um processo mentam que nãodeveria ser necessárioo uso de de anota¸cãorealizado por trêsespecialistas em córpusespec´ıficospara a tarefa de Simplifica¸cão lingu´ısticaque trabalham com crian¸cas.Dois de- Lexical, jáque palavras simples tambémsãoen- les possuem mestrado e o terceiro possui dou- contradas em córpus de propósitogeral. Por- torado. Cada anotador filtrou, de uma lista de tanto, os autores propõemo uso de word embed- sinônimospreviamente capturada do TeP (The- dings (Mikolov et al., 2013) para a tarefa de Sim- saurus eletrônicopara o Português do Brasil) plifica¸cãoLexical. A abordagem dos autores éin- (Maziero et al., 2008), quais palavras eram apro- dependente de l´ınguae necessita unicamente de priadas para substituir a palavra complexa original. Eles tambémsugeriram substitui¸cõesque thesaurus/ nãoforam listadas. O especialista doutor ano- 8– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio tou todas as frases e cada um dos especialistas ria uma cobertura completa. Portanto, opta- com mestrado anotou metade delas em um pro- mos por utilizar o Dicio6, um dicionáriode por- cedimento duplo-cego. O Cohen Kappa (Cohen, tuguês contemporâneo, composto por mais de 1960) foi de 0,74 para o primeiro par de anota- 400 mil palavras e que, para cada palavra, apre- dores e 0,72 para o segundo par. senta a sua defini¸cão, classifica¸cãogramatical, No entanto, a primeira versãodo SIMPLEX etimologia, divisão silábica, plural, sinônimos, possuia váriaslimita¸cõesque impediam sua apli- antônimos,transitividade verbal, conjuga¸cãode cabilidade, como palavras incorretamente marca- verbos e rimas. O Dicio comtempla 100% das das como sinônimospara uma palavra complexa palavras complexas do SIMPLEX. Fazendo uso em seu contexto, baixa quantidade de sinônimos do Dicio, recuperamos a defini¸cãode cada pala- e a ausênciada ordena¸cãodos sinônimospela sua vra complexa do SIMPLEX. Uma etapa de pós- simplicidade. Assim, surgiu o SIMPLEX-PB 2.0 processamento foi necessáriaa fim de garantir (Hartmann et al., 2020), uma versãoampliada que a defini¸cãoinserida no SIMPLEX seja curta, e aprimorada do SIMPLEX que foi submetida a direta e simples, removendo apostos e ora¸cõesque váriasrodadas de anota¸cãomanual para captu- nãosejam as principais. rar com precisãoas necessidades de simplifica¸cão de crian¸cas de escolas de periferia. O córpus 3.2. Anota¸cõesde termos técnicos foi aprimorado com um incremento no número de sinônimospara as palavras-alvos complexas Enriquecemos, ainda, o SIMPLEX com (7,31 sinônimosem média) e a introdu¸cãoda anota¸cões de quais palavras complexas são ordena¸cãodos sinônimospela sua simplicidade, termos técnicos ou possuem um contexto es- produzidas pelo própriopúblico-alvo — crian¸cas pec´ıfico de aplica¸cão. Para isso, consultamos entre 10 e 14 anos estudando em institui¸cões o Priberam7, que retorna uma anota¸cão e públicasde periferia no Brasil. descri¸cão do uso espec´ıfico de certas palavras Neste trabalho, disponibilizamos uma nova consultadas, por exemplo: versãodo córpus,denominada SIMPLEX-PB 3.0. Nessa nova versão,o córpus foi enriquecido com Sangu´ıneo– [Liturgia católica] features lingu´ısticas, proxies de complexidade Pano que serve para limpar o cálice,na missa lexical. A nova versão do SIMPLEX ainda (purificador, sanguinho); conta com defini¸cõesde suas palavras complexas e anota¸cõesde termos técnicos, informa¸cões Câmara– [Anatomia] que fazem com que o córpustambémpossa ser Cavidade ou espa¸coanatómico utilizado para estudos em Elabora¸cãoLexical. (ex.: câmarado olho); Atualmente, o córpusconta com 52 colunas de Hardware – [Informática] informa¸cão. Um exemplo da estrutura¸cãodo Material f´ısicode um computador; SIMPLEX-PB 3.0 pode ser visto na Figura3e detalhes dos três tipos de enriquecimento de da- Figurado – [Figurado] dos sãomostrados nas próximasse¸cões. Dócil,brando.

Entendemos que essas anota¸cõespodem ser 3.1. Defini¸cõesde palavras complexas bons indicativos de quais palavras devem ser elaboradas, mas um estudo com base em córpusé Tomando como base os trabalhos de Mihalcea & necessáriopara comprovar a hipótese. Csomai(2007), Amancio(2011) e Bultéet al. (2018), que trabalharam com a Elabora¸cãoLe- xical por meio da inser¸cãoda defini¸cãodas pala- 3.3. Features lingu´ısticasde complexidade vras complexas, decidimos estender o SIMPLEX lexical com defini¸cõescurtas para cada palavra com- Com o intuito de disponibilizar insumos úteis plexa, possibilitando assim o uso do recurso para para pesquisas nas áreasde Identifica¸cãode Pala- estudos de Elabora¸cãoLexical. vras Complexas e Simplifica¸cãoLexical, enrique- Watanabe et al.(2010) mostrou que apro- cemos o SIMPLEX com 38 features lingu´ısticas ximadamente 73,5% dos artigos da Wikipedia implementadas neste trabalho e que jáforam uti- em Português(Wikipédia)trazem a defini¸cãodo lizadas com sucesso por trabalhos da literatura. conceito chave do artigo logo na primeira sen- As features são: ten¸ca. No entanto, verificamos que nem todas as palavras complexas do SIMPLEX sãocontem- 6https://www.dicio.com.br pladas pela Wikipédia,o que nãonos garanti- 7https://dicionario.priberam.org Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 9

Figura 3: Recorte de dez linhas e seis colunas do SIMPLEX 3.0 para ﬁns ilustrativos.

Contagem – Frequênciae diversidade contex- 4. Elabora¸cãoLexical tual8 das palavras e de seus lemas no córpus Leg2Kids (Hartmann & Alu´ısio, 2019) e no Intuitivamente, podemos supor que palavras da córpusde textos informativos infantis (Hart- l´ıngua geral devam ser simplificadas e as pala- mann et al., 2016); vras técnicasou de conceitos enciclopédicosde- vem ser elaboradas. O trabalho de Bultéet al. Lexicais – Quantidade de caracteres e s´ılabas (2018), que propôsum método para a decisão das palavras e de seus lemas (Devlin & Tait, sobre qual abordagem de Adapta¸cãoLexical uti- 1998). Utilizamos o pacote Pyphen para lizar em cada caso de um texto, fez uso de Ela- cálculodo númerode s´ılabas; bora¸cãoLexical somente para palavras compostas, nomes própriose para aquelas palavras iden- Wordnet – Quantidade de sentidos, hi- tificadas como complexas mas que nãotiveram perônimos e hipônimos das palavras e de sinônimosmais simples encontrados na base lexi- seus lemas na OpenWordNet-PT (Paiva et al., cal Cornetto11. 2012; Crossley et al., 2011); Nesta se¸cão, apresentamos uma primeira análiseem córpusde ocorrênciasde Elabora¸cão Psicolingu´ısticas – Frequência subjetiva9, Lexical por defini¸cãoe estudo de quais palavras idade de aquisi¸cão(Age of Acquisition — AoA, do SIMPLEX-PB 3.0 estãopresentes entre essas em Inglês),concretude e imageabilidade das palavras elaboradas. palavras, do repositório Psycholinguistic Pro- perties of Brazilian Portuguese10 (dos Santos et al., 2017), ou de seus lemas quando a pa- 4.1. Análisede Córpuspara casos de Ela- lavra não estiver no repositório (Hartmann bora¸cãoLexical et al., 2018); Com o intuito de entender quais palavras devem Modelo de l´ıngua – A log10 probabilidade ser elaboradas para crian¸casdo Ensino Funda- das palavras e seus lemas em córpus,conside- mental, realizamos um estudo em um recorte do rando como contexto as 3 palavras preceden- córpusformado por matérias e artigos de no- tes, no córpusde Hartmann et al.(2016). vembro de 1990 a novembro de 2015 da revista CiênciaHoje das Crian¸cas(CHC)12, em busca Mais detalhes sobre as features lingu´ısticassão de padrõesde Elabora¸cãoLexical, via defini¸cões. apresentados na Se¸cão 5.2.1. A CHC éuma revista de divulga¸cãocient´ıfica para crian¸cas (entre 8 a 13 anos), criada em 1986 e editada pelo Instituto CiênciaHoje sob 8Diversidade contextual énúmerode documentos em que a palavra ou expressãoocorre. a responsabilidade da Sociedade Brasileira para 9Frequênciasubjetiva éa estimativa do númerode ve- o Progresso da Ciência(SBPC). zes que uma palavra éencontrada por indiv´ıduosem sua forma escrita ou falada. 11http://wordpress.let.vupr.nl/cornetto/. 10http://nilc.icmc.usp.br/portlex/ 12http://chc.org.br/ 10– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio

O trabalho de Alu´ısio(1995) mostra que tra- Para gera¸cão das flexões, fizemos uso do zer uma defini¸cãocurta ao lado de uma pala- UNITEX-DELAF (Dicionáriode Palavras Sim- vra/termo ajuda na familiariza¸cãodo conceito ples Flexionadas para o Português Brasileiro) da palavra do texto. A autora lista 5 tipos de (Muniz, 2004). defini¸cões: Com base nos padrõesde Elabora¸cãoLexical por defini¸cãolistados, identificamos apenas 294 Defini¸cãoFormal – apresenta os elementos senten¸cascontendo a palavra complexa na janela semânticos termo, classe e caracteristicas; de até5 tokens anteriores ao padrãoidentificado. Defini¸cãoSemi-formal – similar àformal, Fizemos esse relaxamento, pois desejavamos ter mas nãoapresenta a classe; uma maior cobertura inicial para depois filtrar- mos manualmente os casos válidos. Esse rela- Defini¸cãopor Substitui¸cão introduz uma xamento nãofoi aplicado para os padrões“pa- nova informa¸cãocom um significado similar lavra seguida por parêntese” e “palavra seguida ao termo que foi introduzido, isto é,apresenta por travessão”. uma reformula¸cãodo termo; Após uma análise das ocorrências identi- Definicãopor Ilustra¸cão – pode ser sub- ficadas, verificamos que somente 41 das 294 classificada em Defini¸cãopor Exemplifica¸cãoe ocorrênciaseram de fato casos de Elabora¸cãoLe- Defini¸cãopor Particulariza¸cão.Ambas as sub- xical de uma palavra complexa do SIMPLEX. classifica¸cõessãoorientadas ao uso de aposto O padrãomais comumente encontrado foi o uso mas a primeira traz um exemplo ao contexto e de parênteses e travessõespara introduzir a de- a segunda especifica o elemento para auxiliar fini¸cãode uma palavra (ver Tabela3), o que im- no seu entendimento; plica no uso mais comum de defini¸cõespor substitui¸cão(ver Tabela4). Defini¸cãopor Estipula¸cão – éencontrada O córpus compilado em Hartmann et al. unida aos outros tipos de defini¸cões e seu (2016) é composto, por exemplo, por livros propósitoécolocar limites de tempo, lugar, didáticose revistas como a Superinteressante e o áreade pesquisa ou de significado para a de- Mundo Estranho. Estas revistas, por defini¸cão, fini¸cãoque a acompanha. apresentam conceitos e conhecimento de mundo para as crian¸cas,sendo necessárioe, inclusive, é Analisamos 187 dos 2.503 artigos do córpus parte do propósitodo material apresentar e ex- CHC e 26 das 72 reedi¸cõesdisponibilizadas em plicar o significado de palavras/conceitos. busca de ocorrênciasde elabora¸cãopor defini¸cão. Identificamos 126 ocorrênciasde defini¸cões,dis- Entendemos que as palavras complexas do tribuidas ao longo de 59 artigos. Na Tabela1, SIMPLEX, extra´ıdasde dicionáriosque sãoum sãoapresentadas as estat´ısticasde cada tipo de recorte do léxicotrabalhado nos ciclos escolares Elabora¸cãoLexical por defini¸cãoidentificado. do Ensino Fundamental, limitaram nossa análise. Alémdisso, realizamos a busca com uma lista de Com base nas 126 ocorrênciasde Elabora¸cão apenas 31 padrões(cf. na Tabela2), o que limi- Lexical identificadas manualmente na amostra do tou a identifica¸cãode certos tipos de defini¸cão, córpusCHC, levantamos padrõesde elabora¸cão como a formal, por exemplo, cujo padrãomais para facilitar a busca de defini¸cões em novos comum tambémtraz casos nãodefinitórios,como córpus. A Tabela2 lista os padrõesidentifica- mostrado nos dois exemplos ilustrativos a seguir: dos para cada tipo de Elabora¸cãoLexical por defini¸cão. O menino élegal. (nãoéum caso de Ela- Fazendo uso desses padrões, buscamos no bora¸cãoLexical); córpus de textos informativos voltados para crian¸casdo Ensino Fundamental compilado em Os mamutes eram quadrúpedes enormes, Hartmann et al.(2016) por ocorrênciasde pa- muito pesados e pouco agéis.(exemplo de Ela- lavras complexas do SIMPLEX que casem com bora¸cãoLexical). os padrõesde elabora¸cãoelencados. Esse córpus contém124.993 senten¸cas,das quais 23.790 apre- Das 41 ocorrênciasde elabora¸cãoidentifica- sentam ocorrênciasde alguma das 715 palavras das, filtramos aquelas que possuem anota¸cãode dif´ıceis(ou de suas flexões)do SIMPLEX. termo técnicono córpusSIMPLEX. Ao todo, 395 das 1.582 entradas do SIMPLEX (aproximadamente 25%) foram marcadas como termos complexos pela consulta ao Priberam. Verificamos que 22 ocorrênciasde elabora¸cãopossuem essa anota¸cão,ou seja, aproximadamente metade dos Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 11

Tipo de defini¸cão Ocorrências Exemplo em córpus Defini¸cãoFormal 60 A alavanca é simplesmente uma barra r´ıgidaapoiada sobre um ponto fixo. Defini¸cãopor Substitui¸cão 25 (...) per´ımetro, isto é, qual éo resultado da soma dos lados do triângulo. Defini¸cãoSemi-formal 22 (...) compostos voláteis conhecidos como ácidosgraxos de cadeia curta, ... Defini¸cãopor Substitui¸cão+ Defini¸cãopor Estipula¸cão 8 (...) Phalloceros, que pode ser traduzido como “pêniscom chifres” em grego... Defini¸cãoFormal + Defini¸cãopor Estipula¸cão 4 Na mitologia grega, Medusa era um monstro com o rosto de mulher... Defini¸cãopor Ilustra¸cão 3 (...) aves de rapina, como os gaviões,as corujas e os falcões... Defini¸cãoSemi-formal + Defini¸cãopor Estipula¸cão 3 A sucuri-de-Marajó, como o nome jádiz, habita a ilha de Marajó... (...) apresenta caracter´ısticastanto de dinossauros quanto de aves (...) Trata-se de Defini¸cãopor Ilustra¸cão+ Defini¸cãopor Estipula¸cão 1 uma espéciede dino-ave.

Tabela 1: Ocorrênciasde Elabora¸cãoLexical identificadas em estudo em amotra do córpusCHC.

Tipo de defini¸cão Padrão casos elaborados possuem a marca¸cãode termo éa ideia de técnicono SIMPLEX. Temos um bom indicativo Defini¸cãoFormal éconsiderado/(da) de que palavras técnicascostumam ser elabora- sãoconsiderados/(das) das. Entretanto, esse estudo precisa ser apro- (é/são)caracterizada(s) por (é/são)caracterizado(s) por fundado via análiseem grandes córpusque te- Defini¸cãoSemi-formal pode ser definido(a) como nham defini¸cõesjáanotadas, como o Newsela13, podem ser definidos(das) como por exemplo, mesmo sendo este na l´ınguainglesa. recebe esse nome isto é que quer dizer 5. Simplifica¸cãoLexical em outras palavras conhecido(a) como Defini¸cãopor Substitui¸cão conhecidos(das) como Apóso sucesso da primeira shared task da tarefa chama(m) de de Identifica¸cãode Palavras Complexas (CWI “palavra seguida por parênteses” “palavra seguida por travessão” – Complex Word Identification, em Inglês)no por exemplo SemEval de 2016, em 2018 aconteceu a se- Defini¸cãopor Exemplifica¸cão tal como gunda edi¸cãoda tarefa na NAACL-HLT, no BEA tais como Workshop (Tetreault et al., 2018). Defini¸cãopor em particular Particulariza¸cão A segunda edi¸cãoda CWI foi uma competi¸cão Defini¸cãopor Semi-formal na qual os participantes poderiam participar de como o nome jádiz com Particulariza¸cão duas tarefas: (i) classificar automaticamente pa- Defini¸cãopor Substitui¸cão lavras como sendo complexas, ou não, isto é, pode ser traduzido como com Estipula¸cão uma tarefa de classifica¸cãobinária,ou (ii) pre- dizer o grau de complexidade de uma pala- Tabela 2: Padrõesde Elabora¸cãoLexical utili- vra, ou seja, uma tarefa de classifica¸cãoproba- zados na consulta de ocorrênciasde elabora¸cão. bil´ıstica. A competi¸cãofoi disponibilizada com datasets para 4 l´ınguas(inglês,espanhol, alemão Padrão Ocorrências e francês).Para a anota¸cãodesses datasets, 10 fa- “palavra seguida por parêntese” 20 lantes nativos de cada l´ıngua e 10 não-nativos “palavra seguida por travessão” 14 conhecido como 3 deveriam ler um parágrafoe anotar as palavras conhecidas como 1 que consideravam dif´ıceis de serem compreen- por exemplo 1 didas por crian¸cas, falantes nãonativos e pes- éconsiderado 1 soas com problemas de linguagem. Ao final, os éconsiderada 1 datasets disponibilizavam senten¸cas(contextos), as palavras anotadas de cada senten¸ca e dois Tabela 3: Ocorrênciasde padrõesde Elabora¸cão rótulos: (i) o primeiro para a tarefa de classi- Lexical por defini¸cãode palavras complexas do fica¸cão,com valor 1 caso a maioria dos anota- SIMPLEX em córpus. dores tivesse identificado a palavra como dif´ıcil, Tipo de defini¸cão Ocorrências e 0 caso contrário;e (ii) a médiadas anota¸cões para a tarefa de classifica¸cãoprobabil´ıstica. Defini¸cãopor Substitui¸cão 38 14 Defini¸cãoFormal 2 Com base na nossa experiênciano CWI 2018 Defini¸cãopor Exemplifica¸cão 1 (Hartmann & dos Santos, 2018), em que obtivemos a segunda melhor coloca¸cãona tarefa de Tabela 4: Ocorrênciasde padrõesde Elabora¸cão classifica¸cãoe terceira melhor coloca¸cãona ta- Lexical por tipo de defini¸cãode palavras comple- refa de classifica¸cãoprobabil´ısticapara a l´ıngua xas do SIMPLEX em córpus. 13https://newsela.com/. 14Optamos por competir nas duas tarefas para a l´ıngua inglesa. 12– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio inglesa (Yimam et al., 2018), trouxemos tanto o mais alto n´ıvel. Com isso, a volumetria final dos conhecimento adquirido para o PortuguêsBra- trêsléxicosindicativos dos anos escolares é: sileiro (PB), como as features utilizadas e os métodos que melhor desempenharam, realizando DicionárioTipo 1 – 1.363 palavras; as adapta¸cõesnecessáriasem rela¸cãoaos recursos DicionárioTipo 2 – 6.836 palavras; dispon´ıveis. A discussãosegue na Se¸cão 5.2. No Brasil, atualmente, o Ensino Fundamen- DicionárioTipo 3 – 22.085 palavras; tal édividido em duas etapas – do 1º ao 5º ano, e do 6º ao 9º ano. Os ParâmetrosCurriculares O mapeamento do conhecimento adquirido no Nacionais (1998) subdividem essas duas fases em CWI 2018 para o cenáriodo PB pôdeser feito quatro ciclos: 1º ao 3º ano, 4º e 5º anos, 6º e gra¸casaos dicionáriosdo PNLD, alinhados com 7º anos e 8º e 9º anos. O PNLD (Programa os n´ıveis escolares do Ensino Fundamental, to- Nacional do Livro Didático)15, criado em 1985 mando como premissa que uma crian¸caconsulta pelo Ministérioda Educa¸cãodo Brasil, éuma um dicionárioquando ela desconhece uma pala- iniciativa de amplo impacto na educa¸cão,pois vra. Assim, podemos assumir que os dicionários objetiva a escolha, aquisi¸cão,e distribui¸cãogra- direcionados a um dado ano escolar contêmas pa- tuita de livros didáticospara os alunos das esco- lavras dif´ıceis/complexaspara as crian¸casneste las públicas do Ensino Fundamental. Desde 2001, n´ıvel. o Programa passou a contemplar a lexicografia Sabendo, ainda, que háuma progressãona- (da Gra¸caKrieger, 2012), selecionando e adqui- tural na aquisi¸cãolexical conforme os anos es- rindo dicionáriospara os alunos dessa etapa de colares avan¸cam(Hartmann et al., 2016), éna- ensino. O PNLD, por sua vez, subdivide o En- tural afirmarmos que as palavras do dicionário sino Fundamental em 3 n´ıveis de complexidade do tipo 3 sãomais complexas que as palavras lexical, sendo eles: 1º ano (n´ıvel 1), 2º ao 5º anos dos dicionáriosdo tipo 2, e que essas sãomais (n´ıvel 2) e 6º ao 9º anos (n´ıvel 3). Alémdisso, complexas do que as palavras do dicionáriosdo o PNLD disponibilizou uma sériede dicionários tipo 1. Para a tarefa de Simplifica¸cãoLexical, que contemplam o léxicoa ser aprendido em cada podemos utilizar essas diferen¸caspara aprender- etapa escolar. O trabalho de Hartmann et al. mos, com uso de métodos de Machine Learning, (2016) selecionou uma amostra dos dicionários quais sãoas caracter´ısticas que determinam a recomendados pelo PNLD para compilar trêsre- grada¸cãoda complexidade de uma palavra e, con- cursos lexicais representativos dos léxicosdesses sequentemente, ranqueá-lade acordo com a sua n´ıveis escolares: complexidade frente a outras palavras.

DicionárioTipo 1 – Composto pelas entra- 5.1. Datasets compilados para a tarefa de das do Dicionário Caldas Aulete Turma do Co- Identifica¸cãode Palavras Complexas coricó,Lexikon, contabilizando 1.371 palavras; DicionárioTipo 2 – Composto pelas en- Para capturarmos a complexidade lexical a par- tradas do DicionárioIlustrado de Português, tir de diferentes visõesdos nossos trêsdicionários compilado por Maria Tereza Camargo Bider- que representam os n´ıveis de complexidade le- man, da Editora Atica´ e DicionárioEscolar xical do Ensino Fundamental apontados pelo da L´ınguaPortuguesa Ilustrado com a Turma PNLD, pareamos os dicionáriospara rotular suas do S´ıtiodo Picapau Amarelo, Editora Globo, palavras como “fáceis”ou “dif´ıceis”: Dicionário contabilizando 8.171 palavras diferentes; Tipo 1 com DicionárioTipo 2 (Tipo1-Tipo2); Di- cinárioTipo 1 com Dicionário Tipo 3 (Tipo1- DicionárioTipo 3 – Composto pelas en- Tipo3); e Dicionário Tipo 2 com Dicionário tradas do MinidicionárioContemporâneoda Tipo 3 (Tipo2-Tipo3). Os pareamentos dos di- L´ınguaPortuguesa de Caldas Aulete, Lexikon cionários nos dão diferentes perspectivas para Editorial, contabilizando 29.970 palavras. mensurar a grada¸cão da complexidade lexical conforme os anos escolares avan¸came, com isso, Eventuais interse¸cõesentre os léxicosdos di- háum maior espa¸coa ser explorado por métodos cionáriosforam tratadas. Se uma palavra écom- de Machine Learning. plexa para um ano escolar T +2, ela naturalmente Para cada um desses pares, criamos datasets écomplexa para os anos escolares T e T + 1. As- com as palavras dos dicionáriose suas ocorrências sim, nos casos de interse¸cões,mantivemos a pa- em senten¸cas do córpus de Hartmann et al. lavra apenas no léxicoreferente ao dicionáriode (2016), um córpusde textos escritos para serem 15http://portal.mec.gov.br/seb/arquivos/pdf/ material de leitura de crian¸casno Ensino Funda- relatorio_internet.pdf mental. Para cada dataset, anotamos aquelas pa- Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 13 lavras do dicionáriode menor n´ıvel lexical como 5.2. Identifica¸cãode Palavras Complexas fáceis(valor 0) e as palavras do dicionáriode maior n´ıvel lexical foram anotadas como dif´ıceis 5.2.1. Método com features lingu´ısticas (valor 1). As volumetrias dos datasets compila- Assim como no CWI 2018, desenvolvemos uma dos e a quantidade de instânciascom palavras solu¸cãode Machine Learning utilizando features fáceise dif´ıceis sãoapresentados na Tabela5. lingu´ısticasa partir da palavra alvo e do seu con- Dois exemplos de instânciasdo dataset Tipo2- texto. Fazendo o devido mapeamento de recursos Tipo3 podem ser vistos na Tabela6. lexicais do PB dos quais calculamos as features, foi poss´ıvel replicar para o PB o conjunto de features que obtiveram boa performance no inglês: Dataset Instâncias Fáceis Dif´ıceis Tipo1-Tipo2 201.902 100.525 101.377 Contagem – Frequênciae diversidade contex- Tipo1-Tipo3 142.157 100.525 41.632 tual das palavras e de seus lemas no córpus Tipo2-Tipo3 148.174 103.820 44.354 Leg2Kids (Hartmann & Alu´ısio, 2019) e no córpusde textos informativos infantis (Hart- Tabela 5: Estat´ısticasdos datasets compilados mann et al., 2016); para a tarefa de Identifica¸cãode Palavras Com- Lexicais – Quantidade de caracteres e s´ılabas plexas. das palavras e de seus lemas; Wordnet – Quantidade de sentidos, hi- perônimos e hipônimos das palavras e de Palavra do seus lemas na OpenWordNet-PT (Paiva et al., Senten¸ca E´ complexa? Dicionário 2012); O livro conta com a históriade um salvamento 0 salvamento muito importante (...) Psicolingu´ısticas – Frequência subjetiva, A data coincide com o dia de Nossa idade de aquisi¸cão,concretude e imageabili- coincide 1 Senhora Aparecida (...) dade das palavras (dos Santos et al., 2017), ou de seus lemas quando a palavra nãoestiver Tabela 6: Exemplos de anota¸cãoda complexi- contabilizada no recurso; dade lexical para cria¸cãode dataset para a tarefa de Identifica¸cãode Palavras Complexas. Modelo de l´ıngua – A log10 probabilidade das palavras e seus lemas em córpus,considerando como contexto as trêspalavras prece- Os datasets criados nãosãobalanceados, as- dentes, no córpusde Hartmann et al.(2016). sim, fizemos o balancemento dos dados por meio do subsampling da classe majoritária. Esse ba- A literatura tambémaponta as features sele- lanceamento consiste na sele¸cão de instâncias cionadas como bons indicativos de complexidade da classe com maior ocorrênciaatéequilibrar- lexical. Devlin & Tait(1998) utilizou métricasde mos a volumetria com a da classe com menos contagem básicas,como a frequênciadas palavras ocorrências(He & Garcia, 2009). e a quantidade de caracteres. Essas features se Dividimos nosso córpusem trêspartes (Ta- mostraram bons proxies para a tarefa de Simpli- bela7): córpus de treinamento ( 60% das fica¸cãoLexical. De Belder & Moens(2010) ava- instâncias), córpus de desenvolvimento≈ liou o uso da frequênciadas palavras na simpli- ( 20% das instâncias) e córpus de teste fica¸cãode textos para crian¸casnativas da l´ıngua (≈20% das instâncias). inglesa. Hartmann & Alu´ısio(2019) fez uso da ≈ frequênciae diversidade contextual para a tarefa de Identifica¸cãode Palavras Complexas no PB e Dataset Treino Desenvolvimento Teste tambémobteve bons resultados. Crossley et al. (2011) comenta que palavra pouco polissêmicas Tipo1-Tipo2 130.818 37.050 34.884 Tipo1-Tipo3 52.044 15.500 15.716 (que possuem poucos sentidos) e palavras muito Tipo2-Tipo3 53.350 17.084 18.274 espec´ıficas(que possuem poucos hipônimosasso- ciados) sãoindicativos de complexidade lexical Tabela 7: Estat´ısticasdos datasets compilados e, assim, motiva o uso de features de wordnets. para as etapas de treino, desenvolvimento e teste Hartmann et al.(2018) utilizaram features psi- de métodos de classifica¸cãopara a tarefa de Iden- colingu´ısticasna tarefa de Simplifica¸cãoLexical. tifica¸cãode Palavras Complexas. Horn et al.(2014) e Paetzold & Specia(2016) utilizaram modelos de l´ınguana tarefa de Sim- plifica¸cãoLexical. 14– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio

Um total de 19 features foram desenvolvidas. dataset Tipo2-Tipo3. Como os datasets sãodis- Aplicamos o zipf score (log10(x)+3) para todas as tintos, nãonecessariamente as mesmas features features desenvolvidas, exceto aquelas de modelo foram selecionadas em todos eles. Na Tabela8, de l´ıngua. Com isso, iniciamos o treinamento de sãolistadas as features selecionadas para repre- métodos de Machine Learning com um total de sentar cada dataset. 38 features. Selecionamos quatro métodos de classifica¸cão Sabemos que nem todas essas informa¸cõessão baseados em Machine Learning: a Regressão necessariamente úteis. Algumas podem nãoex- Log´ıstica(método tradicional e comumente utili- plicar o evento de uma palavra ser simples ou zado como baseline de solu¸cões),o SVM, a Ran- complexa. Outras podem ser correlacionadas en- dom Forest (ensemble do tipo bagging) e XGBo- tre si, ou seja, redundantes. Portanto, rodamos ost (ensemble do tipo boosting). Foi realizada o método Boruta (Kursa et al., 2010; Kursa & otimiza¸cãobayesiana de hiper-parâmetrospara Rudnicki, 2010) de sele¸cãode variáveis. O Bo- todos os métodos com uso do pacote Hyperopt ruta verifica quais features sãomais informati- (Bergstra et al., 2013). vas para explicarem o evento de interesse do que uma variável aleatóriaproduzida a partir do em- 5.2.2. Método com word embeddings baralhamento da própria feature. Se uma feature explica um evento, ela estácorrelacionada com Utilizamos a mesma arquitetura de rede neural o fato de uma palavra ser simples ou complexa, (ver Figura4) implementada para o método que mas se embaralharmos essa feature, ela perde a fez uso de word embeddings no CWI 2018, tendo correla¸cãocom o evento e passa a nãomais ex- sido apenas necessáriaa substitui¸cãodo modelo plicá-lo. O Boruta eliminou 8 features para os de word embeddings por um treinado no PB. trêsdatasets. O fluxo de processamento de uma dada pala- A justificativa de escolher o Boruta dentre ou- vra pela rede neural éo seguinte: a embedding tros métodos de sele¸cãofoi devido ao fato do de uma palavra alimenta a entrada da rede, que algoritmo ser projetado para classificar o que o segue com 2 camadas densas de 100 neurônios artigo original chama de “problema todas rele- cada e fun¸cãode ativa¸cãoReLu (Nair & Hin- vantes”: encontrar um subconjunto de features ton, 2010). Por fim, uma últimacamada com que sãorelevantes para uma determinada tarefa um úniconeurônioe fun¸cãode ativa¸cãosigmóide de classifica¸cão. Isso édiferente do “problema que retorna um score em termos de probabili- m´ınimo-otimo”, que éo problema de encontrar dade entre 0 e 1. Quanto mais próximode 1, o subconjunto m´ınimode features que têmde- mais complexa éa palavra. A rede étreinada sempenho em um modelo. Embora os modelos por 10 épocas. de aprendizado de máquinaem produ¸cãodevam, em últimaanálise, visar a sele¸cãode features m´ınimas otimas, a tese de Boruta éque, para Camada Sigmóide fins de explora¸cão,a otimiza¸cãom´ınimavai longe demais. Alémdisso, o método érobusto àcor- rela¸cãode features. Em cenárioscom uma quan- Camada ReLU tidade grande de features, tratar a correla¸cãode- las pode ser uma tarefa demasiadamente custosa. Camada ReLU Assim, utilizar o Boruta pode tambémacelerar a etapa de prepara¸cãode features, justificando sua escolha nesta pesquisa. Word Embeddings Em seguida, calculamos a Correla¸cãode Pe- arson entre cada par de feature para identificar- mos features correlacionadas. Nos casos em que audacioso a correla¸cãofoi maior ou igual a 0,9, mantivemos apenas uma feature do par analisado. Com isso, Figura 4: Arquitetura de rede neural com word removemos mais 14 features dos datasets Tipo1- embeddings de Hartmann & dos Santos(2018). Tipo2 e Tipo2-Tipo3; e 12 features do dataset Tipo1-Tipo3. Para o CWI 2018, fizemos uso do modelo de Assim, 16 features lingu´ısticas foram seleci- word embeddings GloVe (Pennington et al., 2014) onadas para o treinamento de métodos de Ma- com 100 dimensões,sem avaliar varia¸cõesdo mo- chine Learning nos datasets Tipo1-Tipo2 e Tipo- delo com mais ou menos dimensões(cada di- Tipo3; e 18 features foram selecionadas para o mensãopode ser interpretada como uma feature), nem outras abordagens de word embeddings. Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 15

Tipo1-Tipo2 Tipo1-Tipo3 Tipo2-Tipo3 Idade de aquisi¸cão Idade de aquisi¸cão Idade de aquisi¸cão Concretude Concretude Concretude Imageabilidade Imageabilidade Imageabilidade Modelo de l´ıngua Modelo de l´ıngua Modelo de l´ıngua Modelo de l´ıngualema Modelo de l´ıngua lema Modelo de l´ıngualema Frequênciasubjetiva Frequênciasubjetiva Frequênciasubjetiva Diversidade contextual no Leg2Kids Diversidade contextual no Leg2Kids Diversidade contextual no Leg2Kids Diversidade contextual no Leg2Kids lema Diversidade contextual no Leg2Kids lema Diversidade contextual no Leg2Kids lema Caracteres Caracteres Caracteres Caracteres do lema Caracteres do lema Caracteres do lema Frequênciano córpusinformativo infantil Frequênciano córpusinformativo infantil Frequênciano córpusinformativo infantil Frequênciano córpusinformativo infantil zipf Frequênciano córpusinformativo infantil zipf Frequênciano córpus informativo infantil zipf Sentidos Frequênciano córpusLeg2Kids Frequênciano córpusLeg2Kids Sentidos lema Frequênciano córpusLeg2Kids zipf Frequênciano córpusLeg2Kids zipf Sentidos lema zipf Sentidos Sentidos Sentidos zipf Sentidos lema Sentidos lema Sentidos lema zipf Sentidos zipf

Tabela 8: Features lingu´ısticasselecionadas de cada dataset para treinamento dos modelos de Iden- tiﬁca¸c˜aode Palavras Complexas.

O trabalho de Hartmann et al.(2017) mostrou Saída que nãoétrivial inferir a performance global de um modelo de word embeddings, ou seja, sua per- Camada sigmóide formance deve ser analisada caso a caso, tarefa a tarefa. Portanto, avaliamos aqui todos os modelos pré-treinados16 de word embeddings pelo grupo de pesquisa NILC (Hartmann et al., 2017), sendo eles: Word2Vec (Mikolov et al., 2013), Ele e seus colegas têm um plano audacioso Wang2Vec (Ling et al., 2015), GloVe (Penning- ton et al., 2014) e FastText (Joulin et al., 2016), Figura 5: Arquitetura de rede neural com em- com varia¸cõesde 50, 100, 300, 600 e 1.000 di- bedding contextual de Hartmann & dos Santos mensões. No geral, os modelos com maior di- (2018). mensionalidade possuem maior custo computacional, o que limita o seu uso, mas empiricamente foi observado que esse custo se paga por apre- retornando um score em termos de probabilidade sentarem melhores resultados quando aplicados entre 0 e 1. A rede étreinada por 10 épocas. (Hartmann et al., 2017). Atualmente, novos modelos para representa¸cãocontextual foram propostos e um novo estado da arte para a representa¸cãocontextual 5.2.3. Método com embedding contextual - Elmo foi estabelecido, sendo a rede LSTM precurssora No CWI 2018, avaliamos a LSTM (Gers et al., desses avan¸cos.O trabalho de Peters et al.(2018) 1999; Le et al., 2017), rede neural estado da arte propôso Elmo, o primeiro modelo de embeddings na época para representa¸cãocontextual. A rede contextuais da literatura. A arquitetura do Elmo neural foi pré-treinadacomo modelo de l´ınguano faz uso de uma rede convolucional para repre- One Billion Word dataset (Chelba et al., 2014), senta¸cãodos caracteres de cada palavra e, então, o que lhe deu a capacidade de aprender a repre- duas redes LSTM que representam o contexto sentar senten¸cas, ou seja, contextos. analisado. Essa rede foi entãoutilizada para a tarefa de Recentemente, Castro(2019) treinou dois mo- Identifica¸cãode Palavras Complexas (ver Figura delos Elmo para o PB. Um desses modelos foi 5). Usando palavra por palavra de uma senten¸ca, treinado numa coleta da Wikipédia, contendo a rede éalimentada atéatingir a palavra alvo de aproximadamente 267 milhõesde tokens. O ou- interesse (aquela que desejamos classificar como tro modelo foi treinado no córpusBrWac (Wag- fácilou dif´ıcil). Nesse momento, fizemos uso da ner Filho et al., 2018), que éum córpus compilado representa¸cãoproduzida pela LSTM (embedding a partir de textos da web e contém2,7 bilhõesde que codifica o contexto analisado) e passamos tokens. Avaliamos ambos os modelos neste tra- essa embedding por uma camada composta por balho. um úniconeurônio e fun¸cãode ativa¸cãosigmóide, A embedding produzida pelo Elmo contém trêsdimensõescom 1.024 valores cada. Segundo 16nilc.icmc.usp.br/embeddings os autores do artigo original, especula-se que 16– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio a primeira dimensãocaptura informa¸cõesmor- Neste trabalho, avaliamos o uso de ambas as fológicasdado o seu processamento no n´ıvel dos embeddings do BERT (Base e Large) na tarefa de caracteres das palavras; a segunda camada cap- Identifica¸cãode Palavras Complexas. Fazemos tura informa¸cõessintáticas; e a terceira camada uso da mesma arquitetura de rede neural utili- captura informa¸cõessemânticas. Apesar da ta- zada com as embeddings do Elmo, substituindo refa de Identifica¸cãode Palavras Complexas ter essas embeddings pelas produzidas pelo BERT. um alto carátermorfológico,o contexto no qual a palavra está inserido é altamente relevante. Logo, avaliamos aqui o uso da representa¸cãode 5.3. Avalia¸cão dos Métodos propostos cada camada independentemente, bem como o para Identifica¸cãode Palavras Com- uso agregado das três camadas (concatena¸cão plexas delas) e ainda a médiadas camadas. Fazemos uso da mesma arquitetura de rede neural utili- Todo método de classifica¸cãobinária(aquele que zada com as embeddings da LSTM no CWI 2018, classifica uma instânciacomo 0 ou 1) entrega um substituindo essas embeddings pelas produzidas númeroreal (um score) entre 0 e 1, assim como pelo Elmo. a tarefa de classifica¸cãoprobabil´ıstica do CWI 2018. A conversãodesse score para os valores 0 ou 1 (uma tarefa de classifica¸cãotradicional da 5.2.4. Método com embedding contextual - BERT literatura) éfeita a partir de um ponto de de- cisão(comumente, esse valor é0,5), em que valo- As redes neurais recorrentes, como a LSTM e a res abaixo do ponto de decisãosãoarredondados GRU (Cho et al., 2014), que conseguiram grande para 0 e os valores iguais ou acima sãoarredon- destaque na literatura por possuirem a capaci- dados para 1. dade de representar um contexto e terem inclu- Para ordenarmos uma lista de palavras pela sive inspirado a cria¸cãodo Elmo, possuem uma sua simplicidade, precisamos fazer uso dos scores limita¸cãopara representar sequênciaslongas (De- gerados pelo modelo e nãodas predi¸cõesarredon- vlin et al., 2018). Isso se dáporque essas re- dadas. Para tanto, analisamos a métricaAUC, des possuem um conceito de memóriae, para pois ela nos dáuma interpretabilidade quanto a continuarem mantendo o contexto atual proces- qualidade da ordena¸cãodos scores de predi¸cãoda sado (memóriacurta), elas acabam deixando de complexidade de cada palavra: éesperado que representar as palavras mais antigas do texto palavras simples possuam um score menor que (memórialonga). A memóriadessas redes limita os das palavras complexas. Alémde averiguar a seu uso na representa¸cãode senten¸caslongas e, qualidade da ordena¸cão,a AUC éuma métrica principalmente, parágrafosou texto. de avalia¸cãoda qualidade de classificadores pois, Para suprir essa deficiência, o trabalho de se os scores preditos estãoordenados pela com- Vaswani et al.(2017) introduziu um novo con- plexidade das palavras, podemos ter um ponto de ceito de rede neural: a Rede com Aten¸cão.Essa decisãopara arredondar esses scores, mapeando rede possui um mecanismo que verifica, para as predi¸cõespara as classes “fácil”(valor 0) ou cada palavra, qual a sua relevânciana repre- “dif´ıcil”(valor 1). senta¸cãode todo o conteúdoprocessado (sen- Calculamos tambéma métricaF1, por ela ser ten¸ca,parágrafoou texto). Esse conceito moti- a métricamais utilizada na avalia¸cãode classifi- vou o trabalho de Devlin et al.(2018), que intro- cadores. Para o cálculoda F1, fazemos uso do duziu o BERT, um novo modelo de embedding ponto de decisãoque maximiza a métricano da- contextual. Juntamente com o artigo, os auto- taset de desenvolvimento. As métricasAUC e res disponibilizaram dois modelos pré-treinados F1 sãoreportadas nos datasets de teste, que são em um córpus composto pelas Wikipedias de aqueles nãoutilizados no treinamento dos mo- 104 l´ınguas: o BERT Base, modelo treinado a delos nem na identifica¸cãodo melhor ponto de partir de uma rede neural com 12 camadas e decisão. que produz uma embedding de 768 valores; e o As performances dos métodos com features BERT Large, uma rede neural mais profunda, lingu´ısticassãoapresentadas na Tabela9. Nos com 24 camadas, e que produz uma embedding três datasets, os métodos foram capazes de clas- de 1.024 valores. sificar a complexidade das palavras com uma alta Recentemente, Souza et al.(2019) treinou es- acertividade. Os métodos de ensemble foram os sas duas versõesdo BERT no córpusBrWAC que desempenharam melhor, apesar da boa per- (Wagner Filho et al., 2018), o mesmo utilizado formance dos métodos tradicionais. Os melhores para treinamento de uma das embeddings do resultados nos três datasets foram obtidos pelo Elmo para o PB, e disponibilizou os modelos. método XGBoost, o que éde se esperar, dado que Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 17 mais da metade das melhores solu¸cõesem com- Dataset Word2Vec Wang2Vec FastText GloVe peti¸cõesdo Kaggle (atémeados de 2016, pelo me- AUC F1 AUC F1 AUC F1 AUC F1 SkipGram 600 SkipGram 300 CBOW 600 GloVe 600 Tipo1-Tipo2 nos) foram obtidas com uso desse método (Chen 0,88 0,86 0,92 0,86 0,94 0,87 0,89 0,81 SkipGram 300 SkipGram 600 SkipGram 1000 GloVe 600 & Guestrin, 2016). Tipo1-Tipo3 0,95 0,88 0,97 0,90 0,98 0,94 0,98 0,92 SkipGram 600 SkipGram 1000 SkipGram 1000 GloVe 600 Tipo2-Tipo3 Dataset Reg. Log´ıstica SVM R. Forest XGBoost 0,84 0,79 0,84 0,77 0,88 0,81 0,91 0,83 AUC F1 AUC F1 AUC F1 AUC F1 Tipo1-Tipo2 0,82 0,75 0,83 0,77 0,88 0,79 0,93 0,84 Tabela 10: Performance dos métodos treinados Tipo1-Tipo3 0,97 0,91 0,97 0,92 0,99 0,95 0,99 0,96 Tipo2-Tipo3 0,88 0,78 0,87 0,78 0,89 0,79 0,91 0,81 com word embeddings na tarefa de Identifica¸cão de Palavras Complexas. Tabela 9: Performance dos métodos treinados com features lingu´ısticasna tarefa de Identi- senta¸cãodos resultos dos modelos de word em- fica¸cãode Palavras Complexas. beddings, apresentamos aqui apenas os resultados dos melhores experimentos para cada um dos dois Os resultados dos modelos treinados com uso modelos pré-treinadosde embeddings do Elmo. de word embeddings como features sãoapresen- Por unanimidade, os melhores modelos foram tados na Tabela 10. Como avaliamos 5 varia¸cões aqueles que fizeram uso da concatena¸cãodas três de dimensionalidade (50, 100, 300, 600 e 1.000 di- camadas de embeddings do Elmo. Isso mostra mensões)de 4 diferentes técnicaspara gera¸cãode que a mensura¸cãoda complexidade lexical de word embeddings (Word2Vec, Wang2Vec, GloVe uma palavra extrapola o n´ıvel morfológico,de- e FastText) em três datasets diferentes, totaliza- pendendo tambémda validade da palavra no con- mos o treinamento e teste de 60 modelos. Consi- texto inserido. Esse resultado estáalinhado com derando a volumetria de resultados produzidos, as questõeslevantadas nos trabalhos Henderson optamos por apresentar somente o melhor resul- et al.(2013) e de Sousa et al.(2020), em que ar- tado de cada técnicade word embedding nos três gumentam sobre a importânciada manuten¸cão datasets de teste. de um léxicoadequado ao públicoalvo e que a Percebemos que nãohouve a predominância nãocompreensãodesse léxicopode levar o lei- de técnicade word embedding entre os modelos tor a nãocompreender o contexto lido como um que desempenharam melhor. Para os datasets todo. Tipo1-Tipo2 e Tipo1-Tipo3, os modelos que utilizaram FastText (CBOW com 600 dimensõese Dataset Elmo Wikipédia Elmo BrWac SkipGram com 300 dimensões,respectivamente) AUC F1 AUC F1 3 camadas concatenadas 3 camadas concatenadas obtiveram os melhores resultados. Para o dataset Tipo1-Tipo2 0,98 0,94 0,98 0,92 Tipo2-Tipo3, o melhor resultado foi obtido pelo 3 camadas concatenadas 3 camadas concatenadas Tipo1-Tipo3 modelo que utilizou GloVe com 600 dimensões. 0,99 0,94 0,97 0,90 3 camadas concatenadas 3 camadas concatenadas Tipo2-Tipo3 Essa nãopredominânciaestáalinhada com os re- 0,96 0,89 0,95 0,84 sultados de Hartmann et al.(2017), que mostrou a nãotrivialidade em inferir a performance global Tabela 11: Performance dos métodos treina- de uma word embedding, fazendo-se necessáriaa dos com embeddings do Elmo na tarefa de Iden- avalia¸cãodo seu uso em cada tarefa de interesse. tifica¸cãode Palavras Complexas. Em rela¸cão à dimensionalidade das embeddings utilizadas, os melhores modelos fizeram uso Os resultados dos métodos treinados com em- de embeddings com 300 dimensõesou mais. Em beddings geradas pelo BERT sãoapresentados na sua maioria, os modelos que desempenharam me- Tabela 12. Como aqui nãohouve muitas com- lhor utilizaram embeddings de 600 ou 1.000 di- bina¸cõesde experimentos, apresentamos as per- mensões,o que refor¸caa maior informatividade formances de todos os 6 modelos treinados. Os das embeddings com mais dimensões. melhores resultados nos três datasets foram obti- Os resultados dos métodos treinados com em- das pelas embedding do BERT Large, o que éde beddings do Elmo sãoapresentados na Tabela se esperar, jáque a rede neural usada no treina- 11. Treinamos modelos com uso da primeira, se- mento dessas embeddings possui o dobro de ca- gunda e terceira camadas de embedding produzi- madas em rela¸cãoao BERT Base, o que lhe dá das pelo Elmo, bem como com a concatena¸cãoe maior poder de aprendizado. médiadessas camadas. Avaliamos dois modelos Na Tabela 13, apresentamos o consolidado dos pré-treinadosde embeddings do Elmo, um trei- métodos que melhor desempenharam em cada nado na Wikipédiae outro treinado no BrWac. uma das 4 categorias de features avaliadas: featu- Isso totaliza 30 modelos treinados e avaliados em res lingu´ısticas, word embeddings, as embeddings nossos três datasets. Assim como feito na apre- contextuais do Elmo e as do BERT. 18– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio

Features Word Dataset Elmo BERT Dataset BERT Base BERT Large Lingu´ısticas Embed. AUC F1 AUC F1 AUC F1 AUC F1 AUC F1 AUC F1 Tipo1-Tipo2 0,93 0,84 0,94 0,87 0,98 0,94 0,93 0,86 Tipo1-Tipo2 0,91 0,83 0,93 0,86 Tipo1-Tipo3 0,99 0,96 0,98 0,94 0,99 0,94 0,97 0,92 Tipo1-Tipo3 0,92 0,86 0,97 0,92 Tipo2-Tipo3 0,91 0,81 0,91 0,83 0,96 0,89 0,93 0,86 Tipo2-Tipo3 0,91 0,84 0,93 0,86 Tabela 13: Performance dos melhores métodos de cada categoria explorada na tarefa de Identi- Tabela 12: Performance dos métodos treinados fica¸cãode Palavras Complexas. com embeddings do BERT na tarefa de Identi- fica¸cãode Palavras Complexas. que o BERT tenha a capacidade de capturar as rela¸cõescontextuais em que a palavra estáin- Consideramos a métricaAUC na sele¸cãodo serida, o Elmo ainda possui um alto teor mor- método com melhor performance. Em caso de fológicoque vai alémdas capacidades do BERT. empate, selecionamos o método que obteve maior valor de F1. 5.4. Aplica¸cão dos métodos de Identi- Os métodos treinados com uso das embeddings fica¸cãode Palavras Complexas na ta- obtidas pelo Elmo obtiveram, consistentemente, refa de Simplifica¸cãoLexical os melhores resultados nos três datasets. Nossa leitura desses resultados remete ao trabalho de Segundo os métodos mais bem sucedidos da lite- Hartmann & dos Santos(2018), que contrasta ratura de Simplifica¸cãoLexical, para simplificar- as abordagens de Feature Engineering: engenha- mos uma palavra devemos identificar sinônimos ria de features, ou seja, a constru¸cãomanual e ranqueá-lospela sua adequa¸cãoao contexto e, de variáveis que representem o evento desejado; claro, pela sua simplicidade (Paetzold & Specia, e Feature Learning: o aprendizado automático 2017; Stajnerˇ et al., 2019). Assim, propomos a das informa¸cões representativas do evento de aplica¸cãodos métodos de Identifica¸cãode Pala- interesse. vras Complexas, desenvolvidos neste trabalho, na Em rela¸cãoàsetapas de Identifica¸cãode Pa- tarefa de Simplifica¸cãoLexical, jáque eles levam lavras Complexas e Simplifica¸cãoLexical, tra- tanto a complexidade de uma palavra quanto o balhos recentes têmmostrado que métodos que seu contexto em considera¸cão. fazem uso de Feature Learning estãodesempe- Para avalia¸cãoda tarefa de Simplifica¸cãoLe- nhando melhor do que os métodos que utilizam xical, fazemos uso do SIMPLEX-PB 3.0. Como Feature Engineering (Glavaˇs& Stajnerˇ , 2015; Pa- descrito na Se¸cão3, a nova versão do SIM- etzold & Specia, 2017; Hartmann & dos Santos, PLEX passou por uma etapa de ordena¸cãodos 2018; Stajnerˇ et al., 2019). Esse cenárioestá sinônimosdas palavras complexas, realizada pelo alinhado com os resultados obtidos nesta ava- própriopúblicoalvo - crian¸cascursando o Ensino lia¸cão.Ainda assim, éimportante destacar a boa Fundamental. Sabendo quais palavras sãocom- performance dos métodos que utilizam features plexas, qual o contexto em que as palavras estão lingu´ısticas.Esses métodos obtiveram resultados inseridas e a ordena¸cãodos sinônimos,podemos próximos(em alguns cenáriosmelhores, em ou- avaliar quais métodos produzem resultados mais tros piores) aos dos métodos de word embeddings alinhados com a expectativa das crian¸cas. Para e tambémdo BERT. isso, embaralhamos as palavras complexas entre Em um primeiro momento, poder´ıamosespe- os seus sinônimose predizemos a complexidade rar que os modelos que fizeram uso das embed- das listas de palavras com os melhores métodos dings do BERT obteriam os melhores resulta- obtidos na Se¸cão 5.3. dos em nossos experimentos, jáque esse modelo Nosso método com features lingu´ısticasrepre- de embeddings contextuais veio suprir limita¸cões senta a abordagem clássica de Simplifica¸cãoLe- que persistem no modelo do Elmo. No entanto, xical (Devlin & Tait, 1998; Alu´ısio& Gasperin, vale novamente a ressalva de que édif´ıcilinferir 2010), que atéo inic´ıo da segunda décadado a performance global de uma embedding (agora século,representou o que havia de melhor na li- extrapolando para as embeddings contextuais). teratura. Nosso método que faz uso de word em- Enquanto o BERT é altamente contextual, já beddings representa uma evolu¸cãodo trabalho de que foi desenvolvido para melhor representar tex- Glavaˇs& Stajnerˇ (2015) que, pela primeira vez, tos longos em rela¸cãoaos modelos anteriores, o obteve resultados melhores do que aqueles que Elmo nos mune de informa¸cõesmorfológicas (pri- faziam uso de features lingu´ısticase mostrou o meira camada), alémde informa¸cõescontextuais potencial da abordagem de Feature Learning. Os (segunda e terceira camadas). Assim, por mais métodos que fazem uso das embeddings contex- Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 19 tuais do Elmo e do BERT representam o atual Médiade todos os modelos treinados no data- estágiodo PLN e, como apresentado por Stajnerˇ set Tipo1-Tipo3; et al.(2019), sãoos com maior potencial para a Médiade todos os modelos treinados no data- tarefa de Simplifica¸cãoLexical. set Tipo2-Tipo3. Nossos métodos sãocomparados com 5 baselines, sendo eles: A Tabela 14 apresenta os resultados do nosso Frequência da palavra no córpus Leg2Kids experimento, avaliando os métodos de Identi- (Hartmann & Alu´ısio, 2019); fica¸cãode Palavras Complexas na tarefa de Sim- plifica¸cãoLexical. Todos os métodos foram ava- Frequência da palavra no córpus de textos liados em 4 critérios: informativos para crian¸casdo Ensino Funda- mental (Hartmann et al., 2016); Top 1 – A palavra ranqueada como mais simples coincide com a palavra identificada como Diversidade Contextual da palavra no córpus mais simples pelas crian¸cas; Leg2Kids; Top 1 e 2 – A palavra ranqueada como mais Idade de Aquisi¸cãoda palavra (dos Santos simples estáentre as duas palavras mais sim- et al., 2017); ples identificadas pelas crian¸cas; Método de Glavaˇs& Stajnerˇ (2015). Top 1, 2 e 3 – A palavra ranqueada como A frequência e diversidade contextual são mais simples estáentre as trêspalavras mais métricasconhecidas por serem bons proxies de simples identificadas pelas crian¸cas; simplicidade, como atestado por Hartmann & ρ – Correla¸cãode Spearman entre o ranking Alu´ısio(2019). Para ambas as métricas,fazemos de palavras produzido e o ranking esperado sua consulta no córpusLeg2Kids, um córpus de pelas crian¸cas.Valores próximosa -1 indicam legendas de desenhos animados e filmes do gênero correla¸cãoinversa, valores próximosa zero in- familiar e, para a frequência,tambémfazemos dicam a falta de correla¸cãoe valores próximos sua consulta no córpusde textos informativos a 1 indicam correla¸cãoperfeita. voltados para crian¸casdo Ensino Fundamental. A idade de aquisi¸cãoéoutro proxy de simplici- Ao analisarmos a correla¸cãode Spearman (ρ) dade (Hartmann et al., 2018) e tambémo utili- dos nossos resultados, percebemos que, em linhas zamos como baseline. Por fim, para termos um gerais, os valores estãomuito próximosa zero, método robusto para compara¸cão,implementa- o que indica falta de correla¸cãocom o ranquea- mos a solu¸cãode Glavaˇs& Stajnerˇ (2015), que mento produzido pelas crian¸cas. No entanto, é ranqueia os sinônimospela similaridade pelo cos- importante destacarmos que a correla¸cãoobtida seno entre a embedding Glove de 300 dimensões entre as própriascrian¸casno SIMPLEX foi muito dos sinônimoscom a da palavra complexa. baixa (Hartmann et al., 2020). Nas instânciasem Aplicamos todos os nossos métodos individu- que 2 crian¸casranquearam a palavra complexa e almente, ranqueando as palavras e comparando- seus sinônimos, o ρ foi de 0,05. János casos em os com a ordena¸cão fornecida pelas crian¸cas. que 3 crian¸casranquearam uma mesma instância, Também avaliamos algumas combina¸cões de o ρ foi de 0,16. Assumindo o ρ das crian¸cascomo métodos, conceito aplicado por Hartmann et al. um upperbound, nãoéesperado que tenhamos (2018), ao calcularmos o ranking médiode dife- um ρ com o ranqueamento das crian¸casmaior rentes solu¸cões. A combina¸cãode modelos visa do que as crian¸casobtiveram entre elas. avaliar se um cenáriodesempenha melhor do que Sabemos que, durante a anota¸cãodo SIM- outro e tambémse o uso combinado desses mo- PLEX, as crian¸cas concordaram em 81,5% das delos aumenta a performance geral da predi¸cão. palavras ranqueadas como as mais simples e em Os cenáriosde combina¸cãode métodos são: 58,5% das 2 palavras mais simples. Nesse cenário de maior concordânciaentre as crian¸cas,temos Médiados modelos com features lingu´ısticas mais garantias para compara¸cãoda performance (modelos com Feature Engineering); das nossas predi¸cõesem rela¸cãoa expectativa das crian¸cas. Média dos modelos com uso de embeddings Analisando o Top 1, o baseline que melhor de- (word embeddings, Elmo e BERT – Feature Le- sempenhou foi a Idade de Aquisi¸cão,ainda que arning); por uma margem muito pequena. Esse resul- Médiade todos os modelos treinados no data- tado estácorrelacionado com os própriosciclos set Tipo1-Tipo2; do Ensino Fundamental, pois conforme a idade 20– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio

Modelo Categoria Top 1 Top 1 ou 2 Top 1, 2 ou 3 ρ MédiaTipo2-Tipo3 Médiados rankings 0.392 0.640 0.817 0.155 MédiaTipo1-Tipo2 Médiados rankings 0.387 0.646 0.811 0.164 MédiaTipo1-Tipo3 Médiados rankings 0.375 0.630 0.812 0.129 Média Médiados rankings 0.359 0.606 0.804 0.094 Elmo Tipo1-Tipo2 Elmo Wikipedia 0.354 0.623 0.809 0.115 MédiaEmbeddings Médiados rankings 0.352 0.638 0.811 0.046 Lingu´ısticasTipo2-Tipo3 XGBoost 0.350 0.638 0.809 0.051 MédiaElmo Médiados rankings 0.350 0.616 0.809 0.115 BERT Tipo2-Tipo3 BERT Large 0.349 0.640 0.821 0.082 Lingu´ısticasTipo1-Tipo2 XGBoost 0.346 0.601 0.786 0.055 MédiaLingu´ısticas Médiados rankings 0.344 0.615 0.799 0.084 Lingu´ısticasTipo1-Tipo3 XGBoost 0.341 0.613 0.796 0.068 Elmo Tipo2-Tipo3 Elmo Wikipedia 0.341 0.591 0.807 0.031 Word Embedding Tipo2-Tipo3 GloVe 600 0.341 0.611 0.801 0.036 Idade de Aquisi¸cão Baseline 0.336 0.588 0.786 0.044 Word Embedding Tipo1-Tipo2 FastText CBOW 600 0.336 0.618 0.796 0.036 Frequênciatextos informativos Baseline 0.329 0.633 0.796 0.055 MédiaBERT Médiados rankings 0.326 0.613 0.802 0.036 Diversidade Contextual Leg2Kids Baseline 0.324 0.596 0.796 0.026 BERT Tipo1-Tipo3 BERT Large 0.321 0.608 0.801 0.005 Elmo Tipo1-Tipo3 Elmo Wikipedia 0.321 0.590 0.801 0.055 Glavaˇs& Stajnerˇ (2015) Baseline 0.319 0.638 0.806 0.025 FrequênciaLeg2Kids Baseline 0.316 0.595 0.797 0.024 Word Embedding Tipo1-Tipo3 FastText SkipGram 1000 0.314 0.626 0.806 -0.032 BERT Tipo1-Tipo2 BERT Large 0.306 0.590 0.789 -0.028

Tabela 14: Performance dos métodos propostos e baselines na tarefa de Simplifica¸cãoLexical. Mo- delos ordena¸cãopela coluna Top 1. da crian¸caavan¸cae ela progride pelos anos esco- O método que obteve o melhor desempenho lares, o léxicoa ser desenvolvido aumenta e novas no Top 1 ou 2 e Top 1, 2 ou 3 foi o BERT palavras/desafios surgem. Tipo2-Tipo3. Entendemos que a inferênciada O baseline que melhor desempenhou no Top 1 grada¸cãoda simplicidade/complexidade de pala- ou 2 e Top 1, 2 ou 3 foi o Glavas. O uso de word vras extrapola o n´ıvel morfológico,dependendo embeddings apresentou uma melhor cobertura de tambémdo contexto no qual a palavra estáin- atua¸cãodo que os demais baselines que utili- serida. O BERT éum modelo contextual, de- zam contagens ou informa¸cõespsicolingu´ısticas. senvolvido para representar textos. Assim, por O método de Glavaˇs& Stajnerˇ (2015) nãofoi mais que nossa correla¸cãocom as crian¸casseja o que melhor identificou a palavra mais simples tãobaixa quanto a correla¸cãodelas próprias, o de acordo com a expectativa das crian¸cas,mas a Tipo2-Tipo3 éo modelo que selecionou, como palavra mais bem ranqueada pelo método estava mais simples, palavras que estãocomumente en- entre as 2 ou 3 palavras mais simples na visão tre as trêsmais simples na sele¸cãodas crian¸cas. das crian¸cas. Entendemos que as crian¸cas não divergem Dentre os métodos desenvolvidos neste traba- completamente quanto ao entendimento da com- lho, aquele que obteve a melhor performance no plexidade das palavras, do contrárionãohaveria Top 1 foi o Elmo Tipo1-Tipo2. Os métodos de- léxicosno PB, informa¸cõespsicolingu´ısticasnem senvolvidos com embeddings do Elmo jáhaviam estudos sobre Adapta¸cãoTextual. Embora a cor- sido os melhores na tarefa de Identifica¸cãode Pa- rela¸cãode Spearman das própriascrian¸casseja lavras complexas e entendemos que, assim como baixa, temos que entender que estamos lidando a Idade de Aquisi¸cão(baseline que obteve me- com crian¸cas em fase de forma¸cãoe que cer- lhor desempenho no Top1), o Elmo Tipo1-Tipo2 tamente possuem muito mais incertezas do que consegue capturar as informa¸cõesintr´ınsicasda- certezas. Essa incerteza reflete nos baixos valo- quelas palavras mais simples, ou seja, o que as res de correla¸cão,mas ao focar as análisesso- tornam as mais simples, jáque este método foi mente nas palavras mais bem ranqueadas pelas treinado no dataset composto pelos dicionários crian¸cas,percebemos que háconcordância.Essa de menor n´ıvel lexical. concordânciaérefletida aqui, quando verificamos a alta performance de nossos métodos ao restrin- girmos a trêspalavras mais bem ranqueadas. Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 21

Finalmente, avaliamos as combina¸cõesde mo- O processo interno realizado pelo sistema con- delos. Analisando o Top 1, as três melhores siste em trêsgrandes etapas: solu¸cõesforam as médiasdos modelos que melhor performaram em cada um dos nossos três 1. A identifica¸cão de palavras complexas por datasets, ou seja, a combina¸cãode todas as abor- meio da aplica¸cãode um classificador neural dagens avaliadas. Essa combina¸cãode métodos que faz uso das embeddings contextuais do se beneficia dos diferentes viésescapturados por Elmo, abordagem que apresentou melhor per- cada uma das abordagens avaliadas: uso de fe- formance na Identifica¸cãode Palavras Com- atures lexicais, word embeddings e embeddings plexas (ver Se¸cão 5.3). Trabalhamos apenas contextuais do Elmo e tambémdo BERT. Assim com as palavras do UNITEX-DELAF (Muniz, como em Hartmann et al.(2018), a combina¸cão 2004) para focar nas palavras da l´ınguageral, de diferentes features/solu¸cõesproporcionou uma excluindo nomes próprios, por exemplo; performance superior na Simplifica¸cãoLexical do que o uso individual de cada uma das solu¸cões. 2. A sele¸cão de palavras candidatas a substitui¸cão é dada por meio de uma con- Para real¸cara performance da combina¸cãodas sulta aos sinônimos disponibilizados em melhores solu¸cõesde cada uma das quatro abor- http://www.sinonimos.com.br (recurso dagens de Identifica¸cãode Palavras Complexas tambémutilizado na expansãode sinônimos exploradas, a médiados 3 modelos com embed- do SIMPLEX 2.0 (Hartmann et al., 2020)); ou dings do Elmo, abordagem que obteve os melho- por meio de uma consulta aos sinônimosdo res resultados na Identifica¸cãode Palavras Com- ª TeP (Maziero et al., 2008) (recurso utilizado plexas, obteve apenas a 8 melhor coloca¸cãoen- na busca por sinônimosna primeira versão tre os modelos, analisando o Top 1. Percebemos, do SIMPLEX (Hartmann et al., 2018)); ou portanto, que de fato o uso de diversos viésesen- por meio do cálculo da similaridade pelo riqueceu a solu¸cãode ranqueamento de palavras cosseno entre a embedding GloVe (Hartmann pela sua simplicidade ao contexto e que, por mais et al., 2017) da palavra complexa e as demais que as redes neurais atuais (deep learning) sejam palavras do vocabulário,limitando as palavras detentoras dos holofotes do Machine Learning, o com mesma PoS tag por meio de verifica¸cão uso de solu¸cõesclássicas,quando combinadas a ao tagger nlpnet (Fonseca & Rosa, 2013); ou essas redes, ainda trazem ganhos àsaplica¸cões. a combina¸cãodas abordagens; e 3. O ranqueamento das palavras candidatas por 5.5. Adapt2Kids: Demonstrando os meio da aplica¸cãodo classificador de comple- métodos de Simplifica¸cão Lexical xidade (o mesmo utilizado na identifica¸cãode para Portuguêsdo Brasil palavras complexas) ao substituir a palavra complexa pela candidata. A fim de disponibilizar uma ferramenta para exemplifica¸cãodo pipeline de Simplifica¸cãoLexi- Utilizamos a médiadas previsõesdos trêsmo- cal e experimenta¸cãopor parte da comunidade, delos neurais desenvolvidos baseados nas embed- 17 desenvolvemos o Adapt2Kids . Este sistema dings contextuais do ELMo. Esses modelos fo- exemplifica o processo de Simplifica¸cãoLexical ram treinados com diferentes visões do léxico para senten¸cas,nãoatendendo a demandas reais que contempla o Ensino Fundamental (datesets de simplifica¸cãode um texto inteiro, que exigi- Tipo1-Tipo2, Tipo1-Tipo3 e Tipo2-Tipo3). ria uma escolha de quais palavras deveriam ser Apresentamos até5 palavras mais bem ran- simplificadas e quais poderiam ser elaboradas. A queadas. Demais candidatos sãofiltrados para execu¸cãoconsiste em trêspassos: facilitar a visualiza¸cãodo resultado. 1. A entrada de uma senten¸capelo usuário(li- mitamos na unidade “senten¸ca”, pois foi a 6. Conclusãoe Trabalhos Futuros mesma utilizada ao longo deste artigo; Este trabalho investigou váriasetapas do pipe- 2. A delimita¸cãode um limiar de classifica¸cão line de AdaptacãoTextual, trazendo váriascon- para distin¸cãoentre palavras simples e com- tribui¸cõespara a área de PLN e Educa¸cão. plexas; e Em rela¸cãoàIdentifica¸cãode Palavras Com- 3. A submissãodo processamento ao clicar no plexas, avaliamos desde abordagens clássicasaté botão“Processar”. as mais modernas, passando por word embeddings e também embeddings contextuais. Trou- 17http://www.nilc.icmc.usp.br/adapt2kids/ xemos a expertise obtida ao trabalharmos com 22– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio a tarefa para o inglês,desenvolvemos e avalia- os melhores resultados foram obtidos ao combi- mos váriosmétodos para a tarefa. Apesar da narmos nossas abordagens pelo ranking médio boa performance dos métodos clássicos,que fa- delas. Nossa solu¸cãoéo novo SOTA para a tarefa zem uso de features lingu´ısticas,o uso de embed- de Simplifica¸cãoLexical aplicada ao PB. dings contextuais do Elmo foi a solu¸cãoque de- Para a tarefa de Elabora¸cãoLexical, enrique- sempenhou melhor na tarefa de Identifica¸cãode cemos o córpusSIMPLEX com defini¸cõescurtas, Palavras Complexas. Como trabalhos futuros, revisadas manualmente, das palavras complexas, pretendemos avaliar o silibificador utilizado no o que possibilita a sua aplica¸cãocomo método de projeto ReGra (Nunes et al., 1999) e inclu´ıdona Elabora¸cãoLexical por defini¸cão. Como traba- ferramenta Coh-Metrix-Port (Scarton & Alu´ısio, lhos futuros, pretendemos criar um recurso mais 2010). Neste trabalho, fizemos uso do pyphen18, sofisticado que contemple uma quantidade maior que utiliza os dicionários do Hunspell (dicionários de palavras e defini¸cõescurtas, podendo ser uti- utilizados em solu¸cõesde mercado, como o Libre- lizado atémesmo para o aprendizado da gera¸cão Office, OpenOffice.org, Mozilla Firefox e Google de defini¸cões. Chrome), para o qual identificamos erros produ- Por fim, neste trabalho, disponibilizamos pu- zidos na silabifica¸cãode palavras (uma das fea- blicamente o SIMPLEX-PB 3.0. Nessa nova tures lingu´ısticasutilizadas neste trabalho). versão, o córpus foi enriquecido com features Para a etapa de Sele¸cãode Abordagem de lingu´ısticas,que são proxies de complexidade le- Adapta¸cãoLexical, fizemos um estudo baseado xical, defini¸cões de suas palavras complexas e em córpuspara identificar padrõesde elabora¸cão anota¸cõesde termos técnicos, informa¸cõesque e tambémquais sãoas palavras do SIMPLEX fazem com que o córpustambémpossa ser utili- mais comumente elaboradas. Aproximadamente, zado para estudos em Elabora¸cãoLexical. O site 50% das palavras elaboradas tinham anota¸cãode Adapt2Kids19 apresenta uma demonstra¸cãodos termos técnicosno dataset SIMPLEX, o que é recursos e métodos desenvolvidos e relatados no um bom indicativo de que palavras técnicasde- artigo. vem ser elaboradas, corroborando nossa hipótese inicial. No entanto, devido ao conjunto limitado de regras estabelecidas, nãoconseguimos tirar Agradecimentos conclusõesdefinitivas a respeito de quais features das palavras indicam um processo de elabora¸cão O presente trabalho foi realizado com o apoio da ou simplifica¸cão. Como trabalhos futuros nessa FAPESP, proc. nº 2016/00500-1. Agradecemos frente, o estudo com foco no desenvolvimento de tambémàscrian¸casdo Projeto Pequeno Cidadão um método que selecione a melhor abordagem de do campus USP em SãoCarlos, por terem feito Adapta¸cãoLexical passa possivelmente pelo uso a avalia¸cãode senten¸casdo corpus SIMPLEX- de grandes córpusde textos simplificados, como o PB 3.0 e as equipes gestora e profissional do Pro- Newsela ou a Wikipédiaem Inglês,pois nesses re- jeto Pequeno Cidadãopelo apoio. cursos encontramos defini¸cõesque ajudam a capturar features destas palavras que foram elaboradas. A Newsela, especialmente, possui anota¸cões Referências de elabora¸cõese simplifica¸cões,o que possibilita- ria o treinamento de métodos de Machine Lear- Alu´ısio, Sandra Maria & Caroline Gasperin. ning para aprender quando simplificar ou elabo- 2010. Fostering digital inclusion and accessibi- rar. Uma vez que tenhamos o método de sele¸cão lity: the PorSimples project for simplification das abordagens de Adapta¸cãoLexical funcional of Portuguese texts. Em NAACL HLT 2010 seria interassante realizar novamente a avalia¸cão Young Investigators Workshop on Computati- com crian¸cas,para assim avaliar um sistema com- onal Approaches to Languages of the Americas, pleto de Adapta¸cãoLexical. 46–53. Em rela¸cãoàetapa de Simplifica¸cãoLexical, Alu´ısio, Sandra Maria. 1995. Ferramentas de aplicamos os métodos desenvolvidos para a ta- aux´ılioa escrita de artigos cient´ıficos em Inglês refa de Identifica¸cãode Palavras Complexas e como l´ıngua estrangeira: Universidade Esta- observamos que eles desempenham melhor do dual de SãoPaulo, Brasil. Tese de Doutora- que baselines da áreae, inclusive, sãomelho- mento. res do que uma das abordagens mais bem su- cedidas da literatura, por exemplo, o método de Amancio, Marcelo Adriano. 2011. Elabora¸cão Glavaˇs& Stajnerˇ (2015). Verificamos ainda que textual via defini¸cãode entidades mencionadas

18https://pyphen.org/ 19http://nilc.icmc.usp.br/adapt2kids/ Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 23

e de perguntas relacionadas aos verbos em tex- Chung, Jin-Woo, Hye-Jin Min, Joonyeob Kim & tos simplificados do português: Universidade Jong C Park. 2013. Enhancing readability of de SãoPaulo, Brasil. Tese de Mestrado. web documents by text augmentation for deaf rd Arfé, Barbara, Lucia Mason & Inmacu- people. Em 3 International Conference on lada Fajardo. 2018. Simplifying infor- Web Intelligence, Mining and Semantics, 1–10. 10.1145/2479787.2479808 mational text structure for struggling rea- . ders. Reading and Writing 31(9). 2191–2210. Cohen, Jacob. 1960. A coefficient of agre- 10.1007/s11145-017-9785-6. ement for nominal scales. Educational Barlacchi, Gianni & Sara Tonelli. 2013. ER- and Psychological Measurement 37–46. NESTA: A sentence simplification tool 10.1177/001316446002000104. for children’s stories in Italian. Em Crossley, Scott A., David B. Allen & Danielle S. Computational Linguistics and Intelli- McNamara. 2011. Text readability and intui- gent Text Processing (CICLing), 476–487. tive simplification: A comparison of readabi- 10.1007/978-3-642-37256-8_39. lity formulas. Reading in a foreign language Bergstra, James, Daniel Yamins & David Daniel 23(1). 84–101. Cox. 2013. Making a science of model search: Crossley, Scott A., David F. Dufty, Philip M. Hyperparameter optimization in hundreds of McCarthy & Danielle S. McNamara. 2007. dimensions for vision architectures. Em In- Toward a new readability: A mixed model ap- ternational Conference on International Con- proach. Em Annual Meeting of the Cognitive ference on Machine Learning, I–115–I–123. Science Society, 197–202. Biderman, Maria Tereza Camargo. 2003. Di- De Belder, Jan & Marie-Francine Moens. 2010. cionáriosdo português:da tradi¸cãoàcontem- Text simplification for children. Em SIGIR poraneidade. ALFA: Revista de Lingu´ıstica workshop on accessible search systems, 19–26. 47(1). 53–69. Devlin, Jacob, Ming-Wei Chang, Kenton Lee & Bott, Stefan, Luz Rello, Biljana Drndarevic & Kristina Toutanova. 2018. BERT: pre-training Horacio Saggion. 2012. Can Spanish be sim- of deep bidirectional transformers for language pler? LexSiS: Lexical simplification for Spa- understanding. ArXiv:1810.04805 [cs.CL]. nish. Em International Conference on Com- putational Linguistics (COLING), 357–374. Devlin, Siobhan & John Tait. 1998. The use of a psycholinguistic database in the simplification Bulté, Bram, Leen Sevens & Vincent Van- of text for aphasic readers. Linguistic databases deghinste. 2018. Automating lexical simplifi- 161–173. cation in dutch. Computational Linguistics in the Netherlands Journal 8. 24–48. Devlin, Siobhan & Gary Unthank. 2006. Hel- ping aphasic people process online informa- Castro, Pedro Vitor Quinta. 2019. Aprendizagem tion. Em International Conference on Compu- profunda para reconhecimento de entidades no- ters and Accessibility (SIGACCESS), 225–226. meadas em dom´ıniojur´ıdico: Universidade Fe- 10.1145/1168987.1169027. deral de Goiás,Brasil. Tese de Mestrado. Fellbaum, Christiane. 1998. WordNet: An elec- Chelba, Ciprian, Tomas Mikolov, Mike Schus- tronic lexical database. MIT Press. ter, Qi Ge, Thorsten Brants, Phillipp Koehn & Tony Robinson. 2014. One billion word bench- Fonseca, Erick R. & João Lu´ıs G. Rosa. mark for measuring progress in statistical lan- 2013. A two-step convolutional neural guage modeling. ArXiv:1312.3005 [cs.CL]. network approach for semantic role labeling. Em International Joint Confe- Chen, Tianqi & Carlos Guestrin. 2016. XGBo- rence on Neural Networks (IJCNN), 1–7. ost: A scalable tree boosting system. Em 10.1109/IJCNN.2013.6707118. International Conference on Knowledge Dis- covery and Data Mining (KDD), 785–794. Gardner, Dee & Elizabeth C. Hansen. 2007. Ef- 10.1145/2939672.2939785. fects of lexical simplification during unaided reading of english informational texts. TESL Cho, Kyunghyun, Bart Van Merriënboer, Caglar Reporter 40(2). 27–59. Gulcehre, Dzmitry Bahdanau, Fethi Bouga- res, Holger Schwenk & Yoshua Bengio. 2014. Gers, Felix A, JürgenSchmidhuber & Fred Cum- Learning phrase representations using RNN mins. 1999. Learning to forget: Continual encoder-decoder for statistical machine trans- prediction with LSTM. Neural Computation lation. ArXiv:1406.1078 [cs.CL]. 12(10). 10.1162/089976600300015015. 24– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio

Glavaˇs, Goran & Sanja Stajner.ˇ 2015. Sim- knowledge and data engineering 21(9). 1263– plifying lexical simplification: Do we need sim- 1284. 10.1109/TKDE.2008.239. plified corpora? Em Annual Meeting of the Henderson, Lisa, Margaret Snowling & Paula Association for Computational Linguistics and Clarke. 2013. Accessing, integrating, and inhi- the International Joint Conference on Natural biting word meaning in poor comprehenders. Language Processing (ACL-IJCNLP), vol. 2, Scientific Studies of Reading 17(3). 177–198. 10.3115/v1/P15-2011 63–68. . 10.1080/10888438.2011.652721. da Gra¸caKrieger, Maria. 2012. Dicionárioses- Horn, Colby, Cathryn Manduca & David Kau- colares e ensino de l´ıngua materna. Estudos chak. 2014. Learning a lexical simplifier using Lingu´ısticos 41(1). 169–180. Wikipedia. Em Annual Meeting of the Associ- Hartmann, Nathan, Livia Cucatto, Danielle ation for Computational Linguistics, 458–463. Brants & Sandra Alu´ısio. 2016. Automa- 10.3115/v1/P14-2075. tic classification of the complexity of non- Inui, Kentaro, Atsushi Fujita, Tetsuro Ta- fiction texts in Portuguese for early school kahashi, Ryu Iida & Tomoya Iwakura. years. Em João Silva, Ricardo Ribeiro, 2003. Text simplification for reading as- Paulo Quaresma, André Adami & António sistance: a project note. Em Internatio- Branco (eds.), Computational Processing of nal Workshop on Paraphrasing (IWP), 9–16. the Portuguese Language (PROPOR), 12–24. 10.3115/1118984.1118986. 10.1007/978-3-319-41552-9_2. Janczura, Gerson A., Goiara M. Castilho, Nel- Hartmann, Nathan, Erick Fonseca, Christopher son O. Rocha, Terezinha de Jesus C. Van Er- Shulby, Marcos Treviso, Jessica Rodrigues & ven & Tin Po Huang. 2007. Normas de concre- Sandra Aluisio. 2017. Portuguese word embed- tude para 909 palavras da l´ınguaportuguesa. dings: Evaluating on word analogies and natu- Psicologia: Teoria e Pesquisa 23(2). 195–204. ral language tasks. ArXiv:1708.06025 [cs.CL]. 10.1590/S0102-37722007000200010. Hartmann, Nathan & Leandro Borges dos San- Joulin, Armand, Edouard Grave, Piotr Boja- tos. 2018. NILC at CWI 2018: Explo- nowski, Matthijs Douze, Hérve Jégou& To- ring feature engineering and feature learning. mas Mikolov. 2016. FastText.zip: Compressing Em Workshop on Innovative Use of NLP for text classification models. arXiv:1612.03651 Building Educational Applications, 335–340. [cs.CL] . 10.18653/v1/W18-0540 . Kajiwara, Tomoyuki, Hiroshi Matsumoto & Ka- Hartmann, Nathan S., Gustavo H. Paetzold zuhide Yamamoto. 2013. Selecting proper le- & Sandra M. Alu´ısio. 2018. SIMPLEX-PB: xical paraphrase for children. Em Conference A lexical simplification database and bench- on Computational Linguistics and Speech Pro- mark for Portuguese. Em International Con- cessing (ROCLING), 59–73. ference on Computational Processing of the Kursa, Miron B., Aleksander Jankowski & Wi- Portuguese Language (PROPOR), 272–283. told R. Rudnicki. 2010. Boruta–a system for 10.1007/978-3-319-99722-3_28. feature selection. Fundamenta Informaticae Hartmann, Nathan S, Gustavo H Paetzold 101(4). 271–285. 10.3233/FI-2010-288. & Sandra M Alu´ısio. 2020. A data- Kursa, Miron B. & Witold R. Rudnicki. 2010. set for the evaluation of lexical simplifi- Feature selection with the Boruta package. cation in portuguese for children. Em Journal of Statistical Software 36(11). 1–13. Conference on Computational Processing of 10.18637/jss.v036.i11. the Portuguese Language (PROPOR), 55–64. 10.1007/978-3-030-41505-1_6. Le, Minh, Marten Postma & Jacopo Urbani. 2017. Word sense disambiguation with lstm: Hartmann, Nathan Siegle & Sandra Maria Do we really need 100 billion words? Ar- Alu´ısio. 2019. Avalia¸cãodo uso da diversi- Xiv:1712.03376 [cs.CL]. dade contextual e da frequênciapara a tarefa Ling, Wang, Chris Dyer, Alan Black & Isa- de identifica¸cãode palavras complexas em sim- bel Trancoso. 2015. Two/too simple adapta- plifica¸cãolexical. Em Symposium in Informa- tions of word2vec for syntax problems. Em tion and Human Language Technology (STIL), Conference of the North American Chapter 294–302. of the Association for Computational Linguis- He, Haibo & Edwardo A. Garcia. 2009. Learning tics: Human Language Technologies, 1299– from imbalanced data. IEEE Transactions on 1304. 10.3115/v1/N15-1142. Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 25

Max, Aurélien. 2006. Writing for language- Paetzold, Gustavo H. & Lucia Specia. 2016. Sim- impaired readers. Em 7th Conference plenets: Evaluating simplifiers with resource- on Intelligent Text Processing and Com- light neural networks. Em LREC Workshop & putational Linguistics (CICLing), 567–570. Shared Task on Quality Assessment for Text 10.1007/11671299_59. Simplification, 42–46. Mayer, Richard E. 1980. Elaboration te- Paetzold, Gustavo Henrique & Lucia Specia. chniques that increase the meaningfulness 2015. LEXenstein: A framework for lexi- of technical text: An experimental test of cal simplification. International Joint Confe- the learning strategy hypothesis. Journal rence on Natural Language Processing 2015: of Educational Psychology 72(6). 770–784. System Demonstrations (ACL-IJCNLP) 85– 10.1037/0022-0663.72.6.770. 90. 10.3115/v1/P15-4015. Maziero, Erick G., Thiago A.S. Pardo, Ariani Paiva, Valeria de, Alexandre Rademaker & Ge- Di Felippo & Bento C. Dias-da Silva. 2008. A rard de Melo. 2012. OpenWordNet-PT: An base de dados lexical e a interface web do TeP open brazilian wordnet for reasoning. Em CO- 2.0: thesaurus eletrônicopara o portuguêsdo LING: Demonstration Papers, 353–360. Brasil. Em Proceedings of the XIV Brazilian Pasqualini, Bianca Franco. 2018. CorPop: um Symposium on Multimedia and the Web, 390– corpus de referênciado portuguêspopular es- 392. 10.1145/1809980.1810076. crito do Brasil: Universidade Federal do Rio Mihalcea, Rada & Andras Csomai. 2007. Wi- Grande do Sul. Tese de Doutoramento. kify!: linking documents to encyclopedic kno- Pennington, Jeffrey, Richard Socher & Chris- wledge. Em Conference on Information and topher D. Manning. 2014. Glove: Glo- Knowledge Management (CIKM), 233–242. bal vectors for word representation. Em 10.1145/1321440.1321475. Conference on Empirical Methods in Natural Language Processing (EMNLP), 1532–1543. Mikolov, Tomas, Ilya Sutskever, Kai Chen, 10.3115/v1/D14-1162. Greg S. Corrado & Jeff Dean. 2013. Distribu- ted representations of words and phrases and Peters, Matthew E., Mark Neumann, Mohit their compositionality. Em Advances in neural Iyyer, Matt Gardner, Christopher Clark, information processing systems, 3111–3119. Kenton Lee & Luke Zettlemoyer. 2018. Deep contextualized word representations. Muniz, Marcelo Caetano Martins. 2004. A cons- Em Conference of the North American tru¸cãode recursos lingü´ıstico-computacionais Chapter of the Association for Compu- para o português do Brasil: o projeto de tational Linguistics (NAACL), 2227–2237. Unitex-PB: Universidade de SãoPaulo. Tese 10.18653/v1/N18-1202. de Mestrado. Petersen, Sarah E. & Mari Ostendorf. 2007. Text Mutsuro, Kai & Matsukawa Toshihiro. 2002. simplification for language learners: a corpus Method of vocabulary teaching: Vocabulary ta- analysis. Em Workshop on Speech and Lan- ble version. Mitsumura Tosho Publishing. guage Technology for Education (SLaTE), 69– Nair, Vinod & Geoffrey E. Hinton. 2010. Recti- 72. fied linear units improve restricted boltzmann Quinlan, Philip T. 1992. The Oxford psycholin- machines. Em International Conference on guistic database. University Press. Machine Learning (ICML), 807–814. Rello, Luz, Ricardo Baeza-Yates, Stefan Bott & Nunes, Maria das G. V., Denise C. Kuhn, Horacio Saggion. 2013a. Simplify or help?: Ana Raquel Marchi, Ana CláudiaNascimento, text simplification strategies for people with Sandra M. Alu´ısio & Osvaldo N. de Oli- dyslexia. Em International Cross-Disciplinary veira Junior. 1999. Novos rumos para o ReGra: Conference on Web Accessibility (W4A), 1–10. extensãodo revisor gramatical do português 10.1145/2461121.2461126. do Brasil para uma ferramenta de aux´ılio à Rello, Luz, Ricardo Baeza-Yates, Laura escrita. Em Encontro para o Processamento Dempere-Marco & Horacio Saggion. 2013b. Computacional da L´ıngua Portuguesa Escrita Frequent words improve readability and e Falada (PROPOR), s/p. short words improve understandability Paetzold, Gustavo & Lucia Specia. 2017. Lexical for people with dyslexia. Em Interna- simplification with neural ranking. Em Confe- tional Conference on Human-Computer rence of the European Chapter of the Associa- Interaction (INTERACT), 203–219. tion for Computational Linguistics, 34–40. 10.1007/978-3-642-40498-6_15. 26– Linguamatica´ Nathan Siegle Hartmann & Sandra Maria Alu´ısio

Saggion, Horacio. 2017. Automatic text Expert Systems with Applications 118. 80–91. simplification. Synthesis Lectures on Hu- 10.1016/j.eswa.2018.08.034. man Language Technologies 10(1). 1–137. Tetreault, Joel, Jill Burstein, Ekaterina Koch- 10.2200/S00700ED1V01Y201602HLT032. mar, Claudia Leacock & Helen Yannakoudakis Saggion, Horacio, Sanja Stajner,ˇ Stefan Bott, Si- (eds.). 2018. Proceedings of the 13th workshop mon Mille, Luz Rello & Biljana Drndarevic. on innovative use of nlp for building educatio- 2015. Making it simplext: Implementation nal applications. and evaluation of a text simplification system Trieschnigg, Dolf & Claudia Hauff. 2011. for Spanish. ACM Transactions on Accessible Classic children’s literature-difficult to Compututing 6(4). s/p. 10.1145/2738046. read? Em European Conference on dos Santos, Leandro Borges, Magali San- Information Retrieval (ECIR), 691–694. ches Duran, Nathan Siegle Hartmann, Ar- 10.1007/978-3-642-20161-5_72. naldo Candido, Gustavo Henrique Paet- zold & Sandra Maria Aluisio. 2017. A Tsang, Wai King. 1987. Text modi- lightweight regression method to infer psy- fications in ESL reading comprehen- cholinguistic properties for Brazilian Por- sion. RELC journal 18(2). 31–44. 10.1177/003368828701800203 tuguese. Em International Conference . on Text, Speech, and Dialogue, 281–289. Urano, Ken. 2000. Lexical simplification and 10.1007/978-3-319-64206-2_32. elaboration: Sentence comprehension and in- Scarton, Carolina Evaristo & Sandra Maria cidental vocabulary acquisition: University of Alu´ısio. 2010. Análiseda inteligibilidade de Hawai’i, EUA. Tese de Doutoramento. textos via ferramentas de processamento de Vaswani, Ashish, Noam Shazeer, Niki Parmar, l´ınguanatural: adaptando as métricasdo Coh- Jakob Uszkoreit, Llion Jones, Aidan N. Go- Metrix para o Português. Linguamática 2(1). mez, Lukasz Kaiser & Illia Polosukhin. 2017. 45–61. Attention is all you need. ArXiv:1706.03762 Siddharthan, Advaith. 2006. Syntactic simplifi- [cs.CL]. cation and text cohesion: University of Cam- Vossen, Piek, Isa Maks, Roxane Segers, Hen- bridge, Inglaterra. Tese de Doutoramento. nie Van Der Vliet, Marie-Francine Moens, Siddharthan, Advaith. 2014. A survey of re- Katja Hofmann, Erik Tjong Kim Sang & search on text simplification. International Maarten De Rijke. 2013. Cornetto: a Journal of Applied Linguistics 165(2). 259– combinatorial lexical semantic database for 298. 10.1075/itl.165.2.06sid. Dutch. Em Essential Speech and Lan- guage Technology for Dutch, 165–184. Sprin- de Sousa, Lucilene Bender, Lilian Cristine ger. 10.1007/978-3-642-30910-6_10. Hübner & Roselaine Berenice Ferreira da Silva. 2020. Lexical-semantic inte- Wagner Filho, Jorge, Rodrigo Wilkens, Marco gration by good and poor reading com- Idiart & Aline Villavicencio. 2018. The brWaC prehenders. Ilha do Desterro 73(1). 63–78. corpus: A new open resource for Brazilian 10.5007/2175-8026.2020v73n1p63. Portuguese. Em International Conference on Language Resources and Evaluation (LREC), Souza, Fabio, Rodrigo Nogueira & Roberto Lo- 4339–4344. tufo. 2019. Portuguese named entity recognition using BERT-CRF. ArXiv:1909.10649. Watanabe, Willian Massami, Arnaldo Can- dido Jr, Marcelo Adriano Amâncio,Matheus Specia, Lucia, Sujay Kumar Jauhar & Rada De Oliveira, Thiago Alexandre Salgueiro Mihalcea. 2012. Semeval-2012 task 1: English Pardo, Renata PM Fortes & Sandra M lexical simplification. Em First Joint Confe- Alu´ısio.2010. Adapting web content for low- rence on Lexical and Computational Semantics literacy readers by using lexical elaboration (SEM), 347–355. and named entities labeling. New Review of Stajner,ˇ Sanja & Horacio Saggion. 2018. Data- Hypermedia and Multimedia 16(3). 303–327. driven text simplification. Em International 10.1080/13614568.2010.542620. Conference on Computational Linguistics: Tu- Yano, Yasukata, Michael H Long & Steven Ross. torial Abstracts (COLING), 19–23. 1994. The effects of simplified and elabora- Stajner,ˇ Sanja, Horacio Saggion & Simone Pa- ted texts on foreign language reading com- olo Ponzetto. 2019. Improving lexical cove- prehension. Language learning 44(2). 189–219. rage of text simplification systems for spanish. 10.1111/j.1467-1770.1994.tb01100.x. Adapta¸cãoLexical Automática em Textos Informativos do Português Brasileiro Linguamatica´ – 27

Yimam, Seid Muhie, Chris Biemann, Shervin Malmasi, Gustavo H. Paetzold, Lucia Specia, Sanja Stajner,ˇ Ana¨ısTack & Marcos Zampi- eri. 2018. A report on the complex word iden- tiﬁcation shared task 2018. ArXiv:1804.09132 [cs.CL]. Young, Dolly J. 1999. Linguistic sim- pliﬁcation of SL reading material: Ef- fective instructional practice? The Modern Language Journal 83(3). 350–366. 10.1111/0026-7902.00027.

Proposta recebida em Julho 2020 e aceite para publica¸c˜aoem Dezembro 2020.

Avaliando entidades mencionadas na cole¸c˜aoELTeC-por Assessing named entities in the ELTeC-por collection

Diana Santos Eckhard Bick Marcin Wlodek Linguateca & Universidade de Oslo South Denmark University Linguateca [email protected] [email protected] [email protected]

Resumo Abstract

Este artigo relata a prepara¸cãoda anota¸cãoda This paper reports on the NER annotation of the cole¸cãoELTeC-por com entidades mencionadas apro- ELTeC-por collection, a collection of hundred Portu- priadas ao génerotextual “romances e novelas publi- guese novels published between 1840 and 1920, compi- cadas entre 1840 e 1920”, para possibilitar a leitura led in the scope of the COST action “Distant reading distante em português. for European literary history”. Em primeiro lugar apresentamos a cole¸cãoELTeC- In addition to discussing its compilation, the choi- por, compilada no âmbito da a¸cãoCOST “Distant Re- ces taken and what remains to be done, we provide ading for European Literary History” para estudar a an initial characterization of the novels according to literatura europeia, e explicamos as diversas restri¸cões size, subgenre, publication place, author gender and e escolhas necessárias,fornecendo uma caracteriza¸cão which edition was used. inicial segundo várioseixos: a origem e tamanho das Then we present PALAVRAS-NER, the NER sys- obras, o seu (sub)género literário,o génerodo autor, tem which we use to annotate the collection, explai- o local de publica¸cãoe a existência ou nãode mais ning the way it works. edi¸cões. We then focus on a subcollection of eight novels Em seguida apresentamos o sistema PALAVRAS- fully human revised, which we use to both evaluate NER, com o qual anotaremos a cole¸cão,explicando the performance of the automatic system, and to cha- detalhadamente o seu funcionamento. racterize the population of the full collection. These Passamos entãoàdescri¸cãoda cria¸cãode uma sub- novels can be further subdivided according to two dif- cole¸cãode oito obras revistas, que servem, por um ferent features: historical versus contemporary novels, lado, para avaliar o desempenho do sistema de REM on the one hand, and original vs. modernized orto- automático,e, por outro, para caracterizar o tipo de graphy, on the other. Also some works are canonical popula¸cãoesperada. As obras podem classificar-se while others are not. segundo dois eixos diferentes: romances históricosvs. In addition to the quantitative analysis of the an- romances contemporâneos;e obras com grafia original notation results and process, we present some quali- ou grafia modernizada. Alémdisso, algumas obras são tative description of the human revision as well. obviamente canónicas,outras não. We offer a detailed analysis of some categories, de- Alémda descri¸cãoquantitativa do resultado de monstrating how the most mentioned places, professi- anota¸cão e revisão, apresentamos algumas consi- ons and demonyms can be good indicators for distant dera¸cõesqualitativas sobre o processo. reading. Tambémfornecemos uma análisedetalhada de al- We end the paper comparing briefly with other gumas categorias, tentando mostrar como os lugares, work using named entities for literary texts and sug- profissõese gent´ılicos mais mencionados podem ser gesting future work. indicadores numa leitura distante. Conclu´ımoscomparando com o trabalho interna- Keywords cional feito na análisede entidades mencionadas de distant reading, named entity recognition, Portu- obras literárias,explicando as diferen¸cas e sugerindo guese, Portuguese literature, digital humanities, cor- trabalho futuro. pus compilation Palavras chave leitura distante, reconhecimento de entidades menci- 1. Introdu¸cão onadas, português,literatura portuguesa, humanidades digitais, compila¸cãode corpos Este trabalho foi desenvolvido no âmbito da a¸cão COST “Distant reading for European literary history” (CA16204)1, que tem por objetivo re-

1Veja-se https://www.distant-reading.net/ DOI: 10.21814/lm.12.2.336 Linguamatica´ — ISSN: 1647–0818 This work is Licensed under a Creative Commons Attribution 4.0 License Vol. 12 Núm. 2 2020 - Pág. 29–49 30– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek volucionar a história da literatura na Europa No máximo11 e no m´ınimo9 autores devem (ou, pelo menos, a históriado romance e novela) ter trêsobras na cole¸cão. atravésda aplica¸cãode métodos emp´ıricosa uma Entre 10 a 50% das obras devem ser escritas cole¸cãomultilingue de váriasliteraturas. Uma por mulheres. destas éa portuguesa, e da´ıo presente artigo. Apesar de termos batalhado por uma cole¸cão Dentro destes parâmetros,cada grupo dedicado que refletisse a literatura lusófona(Santos et al., a uma literatura5 tem de fazer as escolhas que 2018), acabámos por construir duas cole¸cões: lhe pare¸cammais apropriadas, visto que datas uma que contivesse obras apenas de literatura de publica¸cão,tipo de escritores, e critériosde portuguesa, para seguir o padrãodo ELTeC, a perten¸caao cânone,sãodiferentes em cada co- chamada cole¸cãonuclear, ELTeC-por, tal como munidade literária(ou linguacultura).6 foi feito para o espanhol e para o inglês, e a Esta a¸cãoCOST estádividida em quadro ver- cole¸cão ELTeC-por-ext, ou seja, uma cole¸cão tentes (correspondentes a grupos de trabalho), alargada, que contém (ainda em andamento) enquadrando-se o trabalho que descrevemos aqui tambémobras brasileiras, e obras que por ou- nas duas primeiras, denominadas respetivamente tros motivos nãose enquadram nos critériosda Scholarly resources e Methods and tools. O pri- cole¸cãopadrão,quer por terem dimensõesdema- meiro grupo de trabalho lida com a constitui¸cãoe siado reduzidas ou por serem escritas pelos mes- valida¸cãodas cole¸cões,enquanto o segundo tem mos autores (relembramos que cada autor pode como objetivo investigar e desenvolver métodos ter no máximotrês obras). A cole¸cãoalargada é, e ferramentas que possam ser usadas na cria¸cão de facto, o conjunto da ElTeC-por e da ElTeC- (da anota¸cão)das cole¸cões,e para o seu proces- por-ext, mas por razõesóbvias nãoduplicamos samento. as obras.2 No seio do segundo grupo, um subgrupo Com efeito, as regras para a constru¸cãodas dedicou-se àquestãodas entidades mencionadas, cole¸cõesm´ınimas,que contêmou deverãoconter de que tratamos em detalhe no presente artigo. cem obras3, sãoas seguintes (ver a documenta¸cão oficial do ELTeC(2018)): 2. Caracteriza¸cãoda cole¸cão A cole¸cãoapenas contémromances ou novelas publicadas na Europa entre 1840 e 19194, para Visto que a primeira cole¸cãose encontra járazo- que as obras perten¸camao dom´ıniopúblico. avelmente terminada, enquanto a alargada ainda estáno seu in´ıcioe ainda nem todos os (novos) Devemos procurar um equil´ıbrioentre os se- critériospara esta últimaforam definidos, neste guintes parâmetros:vintena em que a obra foi artigo apenas descrevemos cabalmente a cole¸cão publicada (1840–1859; 1860–1879; 1880–1899; ELTeC-por, fazendo apenas referênciapontual a 1900–1920); tamanho da obra — tendo sido casos presentes na cole¸cãoELTeC-por-ext. definidos os seguintes intervalos com base no Conforme indicado na documenta¸cãoassoci- númerode palavras: pequena (entre 10.000 ada a esta cole¸cão,jápública7, como compilado- a 50.000 palavras), média (entre 50.000 e res8 deparámo-noscom uma grande escassez de 100.000 palavras) e grande, com um tamanho obras publicamente dispon´ıveis. Podemos mesmo maior do que 100.000 palavras; e canonicidade: dizer, sem perigo de errar, que praticamente só alémde obras que pertencem ao cânone,de- autores canónicostinham sido digitalizados em vem constar muitas que nãoo fazem. Es- português. As poucas exce¸cõesàregra vinham cusado serádizer que esta questãoprovocou muita celeuma, visto que hámuitas formas de 5Usamos o termo “grupo dedicado a uma literatura” compreender o cânone,e que acabou por ser e nãopa´ısporque por exemplo as literaturas em inglês, parafraseada pelo critérioobjetivo “tem mais francês, ou alemão abarcam vários pa´ıses da Europa. Alémdisso, os grupos na a¸cãonãosãoautomaticamente do que uma reedi¸cãono per´ıodo 1980–2010”, defin´ıveis por pa´ıs-literatura,visto que váriosparticipan- que pode ter o valor sim ou não. tes na a¸cãorepresentam um pa´ıs e dedicam-se a outra literatura, como éo caso de Christof Schöch, alemãoes- 2Mais informa¸cãosobre as variadas cole¸cõesencontra- pecialista em literatura francesa, ou Jan Rybicki, polaco se em https://www.distant-reading.net/eltec/. especialista em literatura inglesa, ou a primeira autora 3A` data da escrita do presente artigo, apenas 5 cole¸cões deste artigo, que representa a Noruega mas trabalha so- contêm100 obras, das 10 publicadas por Odebrecht et al. bre o português. (2020). 6Sobre este assunto leia-se Herrmann et al.(2020). 4Embora o per´ıodo do COST seja de 1840 a 1920, não 7Em https://github.com/COST-ELTeC/ELTeC-por usámoso ano 1920 para que o quarto per´ıodo também 8A responsabilidade da compila¸cãoéda primeira au- cobrisse exatamente vinte anos, como os outros. Mas isso tora e dos representantes de Portugal no COST: Raquel nãoéconsistente em todas as cole¸cõesELTeC. Amaro, Isabel AraújoBranco e Paulo Silva Pereira. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 31 do projeto Gutenberg, e/ou de projetos que dis- no caso das pedidas àBiblioteca Nacional, não ponibilizam versõesmodernas de livros antigos, tivemos qualquer influêncianessa escolha). As- como o LusoLivros. sim, em 23 casos a edi¸cãodigitalizada nãoéa Foi por isso necessárioproceder ao trabalho primeira. Mas a obra édatada e classificada no de revisãodo reconhecimento óticode caracte- per´ıodo COST com base na sua primeira edi¸cão, res (ROC) feito por projetos estrangeiros e com exceto no único caso em que nãose conhece a ferramentas certamente muito pouco apropriadas data da primeira edi¸cão.9 àtarefa (ou seja, com sistemas antigos que não Em rela¸cãoao sexo do autor, infelizmente ape- tinham sido treinados ou pensados para o por- nas conseguimos 17 obras de escritoras, 12 de- tuguês,e muito menos para a ortografia portu- las pequenas. Outras obras inicialmente elenca- guesa do séculoXIX). Isso levou a que um livro das, como Severina de Guiomar Torresão,acaba- digitalizado, por exemplo, pelo googlebooks leram por se revelar pequenas demais. Parece as- vasse em médiade 10 a 20 horas para limpar. sim poss´ıvel afirmar que as escritoras femininas Tivemos tambéma ajuda da Biblioteca Naci- nesse per´ıodo geralmente produziam obras de di- onal portuguesa para digitalizar (desta vez com mensãomais reduzida, muitas delas novelas ou um sistema mais adaptado ao português)algu- contos. mas obras das quais sóhavia versãoem papel. Na figura1 mostramos a distribui¸cão das A revisãodo reconhecimento óticode caracte- obras por década.Como nãoseráde espantar, as res (ROC, em inglêsOCR) destas obras levou obras antigas (das primeiras duas décadas)sãoas certamente menos tempo, mas foram relativa- menos abundantes. A primeira décadado século mente poucas devido a o nosso projeto nãoser XX éa que tem maior númerode livros, o que evidentemente prioritáriopara essa institui¸cão,à poderáser explicado pela primeira guerra mun- qual estamos de qualquer maneira muito agrade- dial na segunda década,mas nãopodemos evi- cidos. Na tabela1 apresentamos a proveniência dentemente concluir nada desta pequena amos- das obras. tra. Para isso, ter´ıamosde ter dados sobre todo o universo de publica¸cãoe nãosósobre os roman- Origem Quantidade ces e novelas escolhidos. Gutenberg 32 Archive.org 30 Biblioteca Nacional 16 Luso-Livros 12 Projeto Adamastor 2 Googlebooks 3 Bibliotrónica 1 Wikimedia 1 NuPill 1 Arq. Mun. Sines 1 Hathitrust 1

Tabela 1: Donde vˆemas obras (Santos(2020))

Vemos que grande parte delas foi necessário rever no âmbito desta a¸cão.Apenas as obras dis- ponibilizadas pelo Gutenberg e pelos sites Luso- Livros, BibliotrónicaPortuguesa e Projeto Ada- mastor (totalizando 47 obras) jáse encontravam revistas, e a sua grafia, exceto no caso do pro- Figura 1: As obras do ELTeC-por por década jeto Gutenberg, atualizada. Quando fomos nós a rever, mantivemos a grafia original. Donde na Uma questãoque merece alguma aten¸cãofoi a cole¸cãoELTeC-por temos apenas 15 casos de gra- quantidade de obras de cariz históricoque foram fia modernizada. Trataremos aliásdessa questão encontradas, e que levam àpossibilidade de con- mais adiante neste artigo (seçcão 3.4), em que siderar que o géneroromance históricofoi muito analisamos obras com as váriasgrafias. cultivado na época a que nos reportamos. Com E´ no entanto tambémimportante indicar que nem todas as obras foram digitalizadas a partir 9O conde de Castel Melhor, de D. Joãoda Câmara,2ª da sua primeira edi¸cão(e repare-se que, exceto edi¸cãode 1903. 32– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek efeito, podemos identificar, nas 100 obras presen- nãoa incorporar no ELTeC-por visto que nãofoi tes, 33 romances históricos. publicada em Portugal atédez anos da sua pu- Outra questãointeressante éa quantidade de blica¸cãoinicial. Foi, contudo, uma das obras tra- romances ou novelas cujo t´ıtuloéapenas o nome tadas no presente artigo – o que aliásdemonstra de uma mulher (sete casos), ou de um homem que a fixa¸cãodos critériospara a decisãofinal (catorze casos).10 Se considerarmos casos de da cole¸cãofoi algo que levou muito tempo e de- t´ıtuloscorrespondendo àdescri¸cãode uma perso- libera¸cão. nagem masculina, como O cristãonovo ou Trans- A questãoda publica¸cãona Europa éalgo viado, ou feminina, como a A divorciada ou A que poderia dar a possibilidade de incluirmos já filha do Cabinda, temos onze casos de t´ıtulos na cole¸cãoELTeC-por livros de autores brasi- correspondendo a uma personagem masculina, leiros, visto que ésabido que era comum estes e nove correspondendo a uma feminina. Final- publicarem em Portugal ou em Fran¸ca, prova- mente, contando tambémos casos em que o t´ıtulo velmente devido aos encargos da publica¸cãono menciona ou inclui personagens femininas, temos Brasil (Barbosa & Wyler, 2009). Por exemplo, dois casos em O juramento da condessa Ester e Tristãode Alencar Araripe Júnioréum escritor Um conto português:episódioda guerra civil: a brasileiro que publicou livros em Portugal com Maria da Fonte e oito casos que incluem uma per- o pseudónimode Cosme Velho, um deles inicial- sonagem masculina, como A Confissãode Lúcio mente inclu´ıdono ELTeC-por mas depois trans- ou O crime do Padre Amaro. Nãohádúvida, ferido para o ELTeC-por-ext. com estes números,que o protagonismo mascu- Existem tambémescritores portugueses que lino épredominante. publicaram fora de Portugal, por exemplo na Quanto ao local de publica¸cãoda primeira Itália,ou no Brasil. Pelas regras do COST, ape- edi¸cãoou da edi¸cãousada, a tabela2 apresenta a nas os textos publicados na Europa devem fazer distribui¸cãodas 119 obras da cole¸cãoELTec-por- parte da cole¸cãonuclear. Jáa questãoda pri- ext, em que nãonos pareceu relevante distinguir meira publica¸cãoem livro seguir-se àpublica¸cão entre as diferentes edi¸cões. O caso de local de em jornal ou periódicoser desaconselhada, esse publica¸cãodesconhecido reporta-se em geral às requisito nãofoi seguido, por nos parecer impe- primeiras edi¸cõesa que nãotivemos acesso. dir váriasobras importantes de pertencerem à cole¸cão,como o primeiro romance policial por- Local Quantidade tuguês, O Mistério da Estrada de Sintra, de Ra- malho Ortigãoe E¸cade Queirós(aliástambémo Lisboa 67 únicoem co-autoria na cole¸cãoportuguesa). Porto 27 Coimbra 7 Relembrando as regras descritas na seçcãoan- Ponta Delgada 1 terior, usámosnove autores com trêsobras. Os Guimarães 1 autores são,por ordem alfabética,Abel Botelho, Rio de Janeiro 1 Alberto Pimentel, Alexandre Herculano, Ana de Funchal 1 Castro Osório,AntónioFrancisco Barata, Camilo desconhecido 14 Castelo Branco, E¸cade Queirós,JúlioDinis e Raul Brandão. Tabela 2: Local de publica¸cãodo conjunto das O equil´ıbrio entre os várioscritériosnãoésem- obras, na cole¸cãoalargada (118 obras) pre poss´ıvel, o que significa que, se tentarmos apresentar todos na mesma visualiza¸cão(veja-se O caso do Rio de Janeiro, correspondente à a figura2), évis´ıvel o viéspara textos curtos (na obra A mulata, éum exemplo de uma situa¸cão bitola do ElTeC) e para autores masculinos, e em que sabemos com certeza que o autor era por- mais recentes. tuguês,devido àreedi¸cãomuito mais tardia e à Em rela¸cãoa nãotermos conseguido cumprir explica¸cãode toda a históriada obra no prefácio. o critériode pelo menos 20 obras longas, e sem O facto de ter sido reeditado em 1975 (80 anos minimizar a grande dificuldade de obter textos depois da primeira publica¸cão)torna a obra espe- longos, podemos relatar que dois dos textos inicialmente interessante, mas acabámospor decidir cialmente considerados nessa categoria tiveram de ser ou retirados por ainda nãose encontrarem 10Isto vai contra a nossa impressãoinicial de ser muito mais comum um nome de mulher como t´ıtulo,mas uma no dom´ınio público,ou reclassificados como de observa¸cãomais cuidada revela que os nomes de mulheres tamanho médio,por a digitaliza¸cãoconter várias sãoquase sempre primeiros nomes, enquanto os de ho- páginasrepetidas. mem sãosempre o nome completo, excetuando Eurico, o presb´ıtero e nomes de personagens religiosas, que, como é sabido, sãoem portuguêstratados pelo primeiro nome. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 33

tos et al., 2006), baseando-nos no português),e tivemos que concordar num conjunto de categorias (ELTeC, 2019) que todas as l´ınguastinham de identificar, para depois compararmos as literaturas. Nesse contexto, éimportante chamar a aten¸cãopara o facto de que muito provavelmente nãoexistiránenhum sistema automáticoque fa¸ca essas decisõese sóessas, visto que este éum conjunto de categorias de certa forma arbitrário. Para o português,contudo, tanto profissões como nacionalidades jáfaziam parte do arsenal usado para a análisesintáctico-semântica do PA- LAVRAS (Bick, 2000), correspondentes àsmar- cas prof e Hnat, veja-se Bick(2006, 2007), por isso bastou transformar estas marca¸cõesem categorias de entidades mencionadas, na sa´ıdado PALAVRAS-NER, e omitir (ou nãoconsiderar) os outros tipos de categorias semânticas identificadas por este sistema. Ou seja, concentrámo- Figura 2: Visualizando o ELTeC-por de acordo nos em pessoas, lugares, organiza¸cões,obras, abs- com o per´ıodo, o tamanho e o génerodo autor tra¸cões,acontecimentos, profissõese gent´ılicos. Um dos objetivos do presente estudo éavaliar 3. Entidades mencionadas em textos li- o desempenho desta anota¸cão(neste contexto espec´ıfico), e indagar, de forma preliminar, sobre terários o que ela nos pode trazer sobre a literatura ano- tada. A cole¸cãoserátanto mais útilpara a leitura distante da literatura lusófona(e mundial) quanto mais informa¸cãocontiver sobre os própriostex- 3.1. O PALAVRAS-NER tos. Uma primeira e óbvia anota¸cãoéa das entidades mencionadas, em particular as pesssoas, Inclu´ıdono analisador sintáticoPALAVRAS, o os locais e as obras que sãomencionadas num li- PALAVRAS-NER éprimordialmente baseado em vro, assim como informa¸cãorelacionada com uma regras, como todos os outros n´ıveis de anota¸cão,e caracteriza¸cãosociológicada(s) realidade(s) des- a informa¸cãolexical e gramatical para reconhecer critas nos romances. entidades mencionadas estáintegrada nos léxicos Apósalguma discussãoentre participantes de e gramáticas gerais. A estrutura do sistema váriasl´ınguas, e a constru¸cãode uma cole¸cão é um conjunto de módulosem cadeia (“pipe- dourada inicial com base em excertos de roman- line”), cada um focando numa tarefa espec´ıfica, ces em dez l´ınguasdiferentes (veja-se o trabalho mas usando a etiquetagem jáconstru´ıda pelos de Stankovićet al.(2019) e Frontini et al.(2020)), módulosanteriores, e preparando o terreno para considerámosque dois campos geralmente não os módulossubsequentes ao enriquecer o con- cobertos pela área do reconhecimento de enti- junto de categorias (desambiguado) que éentrada dades mencionadas (REM) seriam interessantes para as regras contextuais. no estudo comparativo da literatura europeia: gent´ılicose profissões. 3.1.1. Identifica¸cãode entidades mencionadas e Vale lembrar que a defini¸cãode entidade men- sua segmenta¸cão cionada estágeralmente ligada àcaracteriza¸cão morfossintáticade nome próprio,que édiferente O reconhecimento de entidades mencionadas em l´ınguasdiferentes — e que édiferentemente pode ser dividido em duas tarefas: (a) identi- sinalizada em termos gráficospor l´ınguas dife- fica¸cãoe (b) classifica¸cãodas entidades. A iden- rentes. Assim, é conhecido que em inglês os tifica¸cãoégeralmente (mas nem sempre) exe- gent´ılicossãomarcados com maiúscula,e os no- cutada primeiro e inclui a atribui¸cãoda cate- mes de profissõesem alemãotambémapresen- goria gramatical “nome próprio”(PROP) ou a tam maiúscula— visto que todos os substanti- dete¸cão de outras categorias gramaticais usa- vos o fazem. Por isso nãoseria poss´ıvel para uma das como nomes, geralmente em maiúsculas,às cole¸cãomultilingue usar uma abordagem baseada quais éatribu´ıda uma categoria gramatical se- na l´ıngua(como fizemos para o HAREM (San- cundária . Na tarefa de identifica¸cão 34– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek tambémestáinclu´ıdoo reconhecimento de uma dade/Ministério/Pra¸ca/Prêmio de... ou Sra.... cadeia de unidades como a ocorrênciade uma en- Usando uma estratégia“global”, podemos usar tidade (por exemplo primeiros nomes e apelidos, regras contextuais para desambiguar a catego- nomes de institui¸cões), e a identifica¸cãode abre- ria de uma entidade mencionada: por exemplo a viaturas como entidades mencionadas. Algumas preposi¸cão em num contexto adverbial pode ser expressõescom váriaspalavras sãotãofrequen- usada para projetar Lugar no seu dependente, tes que foram dicionarizadas, mas na maior parte assim como entidades mencionadas que sãosujei- dos casos a identifica¸cãodas entidades multipa- tos de um verbo de fala ou de um verbo cogni- lavra éfeita dinamicamente, da seguinte forma: tivo sãoprovavelmente Pessoa. Para nomes de a anota¸cãomorfológicaéfeita primeiro, e regras pessoas em particular, uma lista de primeiros no- gramaticais subsequentes atribuem classifica¸cão mes internacionais, lista de apelidos comuns em de partes de nome próprio(@prop1 para a pri- portuguêse part´ıculasde liga¸cãocomuns (da/do, meira parte e @prop2 para as seguintes), o que von/van, bin) permite o reconhecimento parcial tem óbvias vantagens em rela¸cãoàalternativa de de nomes de pessoas, que sãodepois propagados usar um pré-processador com reconhecimento de para a entidade mencionada completa. padrões:

1. Permite que a análisemorfológicaestabele¸cao 3.1.3. O conjunto de categorias númeroe o génerodas entidades a partir dos O conjunto de categorias identificado pelo seus constituintes e da sua estrutura PALAVRAS-NER tem um grupo nuclear de seis 2. A gramática de REM pode mudar a com- classes comuns àmaioria dos sistemas de REM: posi¸cãode um nome próprioremovendo, adici- Pessoa (), Organiza¸cão (), Local onando ou substituindo etiquetas de in´ıcioou (), Acontecimento (), Obra () continua¸cão e Marca (). Alémdisso, tem outras categorias menos comuns, adicionadas por serem fun- Assim, o comprimento de um grupo de palavras cionalmente amb´ıguas: Assim, cidades e pa´ıses reconhecido como uma unidade pode ser aumen- sãoclassificados como e ou tado incrementalmente de uma forma sens´ıvel ao com uma classifica¸cãosubespecificada em contexto e gramaticalmente motivada, por exem- vez de , porque podem ser usados como plo adicionando coordena¸cões(as últimasduas lugares (viver em X) ou como pessoas ou orga- palavras em Doen¸casInfecciosas e Parasitárias) niza¸cões(X lan¸cou/criouetc.). Da mesma forma, ou sintagmas preposicionais (idem em Câmara o PALAVRAS-NER usa para designar Municipal de Leiria). Como as partes de en- algo que pode funcionar como t´ıtulode uma obra tidades mencionadas sãoneste estádiovis´ıveis ou como organiza¸cão;e para cinemas, lo- como nomes ou outras categorias, atéa valência jas ou embaixadas, por exemplo, para lidar com sintáticapode ser utilizada. a ambiguidade lugar/organiza¸cão. Tal éconsis- tente com a filosofia do PALAVRAS de distinguir 3.1.2. Classifica¸cãode entidades mencionadas entre forma e fun¸cão: a classifica¸cãoimediata refere-se àforma semântica, deixando a fun¸cão A tarefa de classifica¸cão atribui categorias semântica ser atribu´ıda numa camada superior semânticas às unidades simples ou complexas que distinguiráentre Pessoa ou Lugar ao conce- identificadas pela tarefa de identifica¸cão. Nos der os papéissemânticos de agente ou experienci- casos mais simples basta consultar almanaques ador ao primeiro caso e de Localiza¸cãoou Destino (“gazeteers”). O PALAVRAS tem dicionários no segundo. com cerca de 26.000 entradas, alémde verificar Outras categorias cobrem classes menores nomes internacionais numa base de dados ainda como prémio (), doen¸ca (), maior para o inglês.Contudo, a categoria nome astro () para estrelas e planetas e ve´ıculo próprionãoéuma classe fechada em nenhuma () para carros e barcos. Como jámencio- l´ınguae éportanto preciso reconhecer e classifi- nado anteriormente, os limites do que constitui car os nomes própriosde outra maneira (em al- uma entidade mencionada variam de l´ınguapara guns textos, isto abrange a maioria dos nomes l´ıngua,e por isso, para permitir uma análisecom- próprios). Usando uma estratégia“local” (in- parativa entre váriasl´ınguas, faz sentido mar- terna àentidade), podemos usar padrõessobre car palavras que não são consideradas nomes cadeias de caracteres e pistas morfológicas. Em própriosem português,tal como meses, nacio- entidades com váriaspalavras, a classe semântica nalidades e profissões,que o PALAVRAS pode do núcleodo sintagma (ou de outro constituinte) “elevar” ao estatuto de entidade mencionada fa- geralmente fornece um pista vital, cf. Socie- zendo uso da marca¸cãosemântica dos nomes co- Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 35

Figura 3: Análiseda frase Josédas Dornas era um lavrador abastado, em que Josédas Dornas e lavrador estãomarcados como entidades mencionadas, em formato MALT. muns, marca¸cãoesta que inclui 200 categorias mil regras. O léxicogeral contémcerca de 70.000 protot´ıpicasnuma ontologia ordenada hierarqui- lemas e o almanaque (“gazeteer”) 26.000 nomes. camente e com poucos n´ıveis de profundidade. Um terceiro tipo de entidade mencionada con- Primeiro pré-processador Atomiza¸cão e re- siderado pelo PALAVRAS-NER sãoexpressões conhecimento de entidades mencionadas ba- numéricascomo data () e ano (). seado em reconhecimento de padrões. As moradas tambémincluem númerosde forma Segundo pré-processador Consulta a alma- sistemática,e sãomarcadas com

em naques incluindo a ontologia internacional, vez de simplesmente . Obviamente, todos e verifica¸cãode expressõescom váriaspala- estes casos usam emparelhamento de padrõese vras a constru¸cãodinâmicade constituintes (adicionando unidades marcadas @prop2) em vez de Analisador morfológico (incluindo apoio di- simples consulta ao dicionário. cionar´ıstico) atribui¸cão de categoria gramatical, afixa¸cão e inflexão, e categorias O sistema completo do PALAVRAS-NER semânticas para nomes própriose subpartes compreende um módulo final de filtragem que de entidades mencionadas transforma o formato interno do PALAVRAS em texto corrido, re-contraindo as contra¸cõesorigi- Desambigua¸cãomorfológica (regras de CG) nais, juntando os encl´ıticose colocando espa¸cos trata de nomes próprios amb´ıguos, por nas expressõescom váriaspalavras. Sóas enti- exemplo em posi¸cãoinicial de frase dades mencionadas mantêma sua classifica¸cão, usando etiquetas e em que a cate- Primeira gramáticade REM (regras de goria gramatical (PROP, N ou NUM) éum atri- CG) verifica e corrige os limites das EM, e buto da entidade, veja-se o seguinte exemplo: faz classifica¸cãolocal e contextual Fun¸cãosintática (regras de CG de “mapping” A mobilia, de um estofo azul e assetinado, e de desambigua¸cão)explora as etiquetas de rivalisa em symetria com os mais encantados EM para decisõesde semântica jardins de Gra- nada. Segunda gramáticade REM (regras de CG) explora as rela¸cões sintáticas e outra in- Tambéméposs´ıvel obter toda a anota¸cãoem forma¸cãode outros módulospara adicionar, XML (formato MALT (Hall & Nilsson, 2005)) modificar e desambiguar as classes de REM usando um novo campo para a classifica¸cãoem Gramáticade estrutura sintática (regras entidades mencionadas, como mostra a figura3. de CG) adiciona marcadores para liga¸cão de complementos a curta e longa distância, 3.1.4. A sequênciade comandos do PALAVRAS- para a estrutura do sintagma verbal, e para NER coordena¸cão Gramáticade dependências conjunto de re- Aqui mostramos como as tarefas associadas ao gras para construir as árvores sintáticas REM estãodistribu´ıdasna sequênciade coman- completas dos do analisador. As duas gramáticas de REM contêm1400 regras de CG, enquanto o resto do Pós-processador Transforma o resultado num sistema (todos os n´ıveis) compreende cerca de 7 formato textual ou no formato XML MALT 36– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek

3.1.5. Tradu¸cãodo PALAVRAS-NER para este veja-se a figura6. projeto Apresentamos aqui brevemente a “tradu¸cão” 3.3. Textos processados das categorias produzidas pelo PALAVRAS-NER Os textos escolhidos para esta experiência– mui- para as classifica¸cõesque usamos neste trabalho, tos deles acabando por nãofazer parte da cole¸cão na Tabela3. final – foram os seguintes: PALAVRAS-NER Aqui Tripeiros Antonio José Coelho Lousada. Os hum, groupind Pessoa tripeiros: Crónica do séculoXIV, 1857, or- civ, top, inst, site Local tografia nãoatualizada. (POR0040) official Profissao org, admin Organizacao Pupilas JúlioDinis. As pupilas do Senhor Rei- date, periodo Data tor, 1867, edi¸cãodos anos 1990, ortografia tit, brand Obra atualizada. Hnat Demonimo Viscondessa S. de Magalhães Lima. A senhora - Outro viscondessa, 1875, ortografia nãoatualizada. (POR0028) Tabela 3: Tradu¸cãodas categorias do PALA- VRAS-NER para a grelha do COST Maias E¸cade Queirós. Os Maias, 1888, edi¸cão dos anos 1990, ortografia atualizada. Febo J.P. Oliveira Martins. Febo Moniz, 1867, 3.2. A anota¸cãoe sua revisão edi¸cãodos anos 1980, ortografia atualizada. (POR0067) Para anotar quer do princ´ıpio quer como re- visãousámoso sistema BRAT11, que permite a Mulata Carlos Malheiro Dias. A Mulata, 1896, anota¸cãoatravésda internete (ver figura5), e edi¸cãodos anos 1970, ortografia atualizada. que usa uma codifica¸cãoem termos de posi¸cão no ficheiro, veja-se a Figura4. Ambi¸cões Ana de Castro e Almeida. Ambi¸cões, 1903, ortografia nãoatualizada. (POR0099) Viagens Almeida Garrett. Viagens na mi- nha terra, 1846, ortografia nãoatualizada. (POR0004)

As Pupilas e os Maias, canónicos,beneficiam de uma ortografia atualizada (anos 90), depois temos dois (Febo e Mulata) semi-canónicos13 que têma ortografia atualizada (anos 70 ou 80 do séculoXX), e mais trêsnãocanónicos(Tripei- ros, Viscondessa e Ambi¸cões)com a ortografia da época em que foram publicados (1857, 1875 Figura 4: As entidades mencionadas codificadas e 1903). Finalmente, juntámosum canónico(as pelo BRAT Viagens) com a ortografia original, de 1846. Por uma questãode simplicidade de escrita, Infelizmente a anota¸cãoatravésdeste sistema referiremos no que se segue cada texto pelo nome mostrou-se muito lenta (chegou a 20 segundos en- curto da lista acima. tre a mudan¸cade uma análisee a visualiza¸cão da mesma!), e tivemos que dividir os ficheiros em váriosfragmentos e apenas ter uma obra acess´ıvel 3.4. Primeiras tarefas do servidor de cada vez. Os tempos indicados neste artigo sãoportanto consequênciadesta si- Para ter a no¸cãode quanto tempo levaria a fa- tua¸cão. zer a anota¸cãohumana de um texto usando o Para transferir entre XML e o formato BRAT, 13Obviamente que a canonicidade éalgo que depende de usamos os váriosconversores desenvolvidos e dis- uma defini¸cãocomplexa, que neste momento nãoéconsen- ponibilizados pela Universidade de Belgrado12, sual. Mas estes dois textos, por terem sido repescados nos anos 70 ou 80 para nãoca´ıremno esquecimento, têmevi- 11http://brat.nlplab.org/index.html dentemente mais direito a um estatuto de semi-canónicos 12http://nerbeyond.jerteh.rs/ do que os que nunca mais foram editados ou analisados. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 37

Figura 5: Sistema BRAT de revis˜aode anota¸c˜ao,com uma parte de Os Maias

BRAT, fizemos essa experiência. O texto esco- A esse respeito, consideramos dois tipos de lhido, Tripeiros, tinha 38.173 palavras (contadas textos: aqueles que têmuma grafia atualizada, pelo programa wc do Linux) e foram encontradas e que se espera, portanto, que o sistema au- 2.149 entidades mencionadas. A sua anota¸cão tomáticotrate melhor, e aqueles com grafias an- levou 10 horas (mas refira-se a lentidãodo sis- tigas e provavelmente mais problemáticas. tema, visto que todo o ficheiro estava acess´ıvel Os dois primeiros textos anotados, os Maias ao mesmo tempo). e a Viscondessa, tinham os seguintes tamanhos Depois fizemos a experiência de quanto le- em palavras: 218.665 e 26.305 e os seguintes varia a anotar apenas adicionando profissõese númerosde entidades reconhecidas automatica- gent´ılicos(que tambémchamaremos demónimos mente: 11.862 (13.739) e 664 (846).14 Sóem neste texto), a uma obra automaticamente ano- si jáuma diferen¸caassombrosa. Como a dife- tada e já humanamente revista em rela¸cão a ren¸capodia ser devida àcanonicidade ou àgrafia pessoas, lugares e obras (no âmbito da nossa (Os Maias fazem parte do cânonee apresentavam anota¸cão de personagens (Santos & Freitas, uma grafia modernizada, a Viscondessa foi esque- 2019)). O texto escolhido, Pupilas, tinha 96.448 cida e tinha grafia antiga), tratámosem seguida palavras com 2400 entidades mencionadas. O re- dos outros textos, para ver se era a canonicidade sultado da revisãoextra e da adi¸cãode gent´ılicos a responsável pelo número maior de entidades, e profissõeslevou a 3453 entidades, em 11 horas. ou se isso seria uma caracter´ısticada obra ou do Passámos depois à tarefa mais natural, e autor. aquela que pretendemos utilizar na constru¸cão da cole¸cãoElTeC-por: a revisãohumana de textos automaticamente anotados pelo PALAVRAS- 14 NER. O primeiro númerorefere-se aos casos sem demónimos nem profissões,o segundo incluindo estes. 38– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek

Figura 6: Parte do sistema para convers˜aoacess´ıvel do servidor s´ervio

A tabela4 mostra os tamanhos de todas estas 3.5. Relato de um trabalho intelectual obras, assim como o númerode entidades dete- tadas, antes e depois da revisãohumana. Apresentamos nesta seçcãoalguns comentários Vemos aqui jáuma grande variabilidade, tanto que nos parece importante salientar, visto que nas dimensõesdos textos como no númerode en- em geral nãoédada voz àspessoas que fazem a tidades mencionadas que contêm.Nas oito obras própriarevisãoou anota¸cãohumana. escolhidas, de oito autores diferentes, a densidade A primeira observa¸cãoque éextremamente de entidades mencionadas varia de 2,7 entidades importante considerar éque o tempo e esfor¸code por 100 palavras a 6,4. uma revisãonãodepende muito de o texto estar Mas muito mais pode ser estudado com a in- jáanotado ou não,visto que o anotador/revisor forma¸cãoque coligimos. Come¸camospor deta- tem sempre de fazer uma leitura atenta de toda lhar o tipo de entidades existentes e a sua forma a obra, e dirigir a sua aten¸cãopara o significado (no sentido de serem compostas por uma ou das palavras que tem de anotar. Por isso, em váriaspalavras). Na tabela5 apresentamos as termos de tempo e esfor¸co,nãoésignificativa a quantidades para cada tipo de entidade. diferen¸ca entre um texto virgem e um texto já anotado. O tempo que se usa a corrigir (muitas Nota: visto que os númerosrefletem um tra- vezes duas a¸cões)équase o mesmo que se perde balho que foi modificando as carater´ısticaspara a anotar de novo (uma a¸cão).15 obter uma maior eficiência,épreciso explicar que o texto Viscondessa e um ter¸codos Maias foram Tambéme de um ponto de vista subjetivo, não anotados com a versão13892 do PALAVRAS- foi encontrada diferen¸caentre textos com grafia NER, que ainda nãodetetava explicitamente pro- antiga ou moderna. Mas podemos indicar que, fissõesou gent´ılicosenquanto que o resto do ma- quando se tratava de um romance histórico,foi terial jáfoi anotado com profissõese demónimos por vezes necessárioidentificar sentidos de pala- automaticamente, com a versão13930. vras que jáca´ıramem desuso, como éo caso de correio: “indiv´ıduoque precede viajantes de dis- Tambémpodemos olhar para o tamanho das tin¸cãopara lhes preparar aposentos, etc.” (Di- entidades: quantas vezes correspondem a uma cionárioPriberam). palavra só,ou a muitas palavras, como a Tabela6 mostra. 15Para demonstrar isto nãobastam os poucos números Antes de analisarmos este material, faz sen- que temos, que alémdisso foram certamente influenciados tido descrever o próprio processo de revisão, pela ordem da revisãoe pelas diversas altera¸cões nos servi- dores para tornar o processo de revisãomais rápido,além dando voz ao revisor. de que o carácterde cada obra teráuma influêncianão despicienda, mas aqui ficam: Tripeiros, 15 horas; Pupilas, 11; Viscondessa, 5; Maias: 33. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 39

Id tamanho EM antes EM depois densidade Tripeiros 38.173 0 (2.080) 2.149 5,6 Viscondessa 26.305 664 (846) 727 2,7 Pupilas 96.448 2.400 (4.116) 3.453 3,5 Maias 218.665 13.739 14.094 6,4 Febo 69.683 3.747 3.559 5,1 Mulata 103.676 3.169 2.995 2,9 Ambi¸c˜oes 78.933 2.370 2.523 3,2 Viagens 71.843 3.139 2.956 4,1

Tabela 4: Descri¸cãodas obras anotadas com entidades mencionadas. Densidade édefinida como o 100*númerode EM/número de palavras.

Id Pessoa Local Profissão Obra Org. Dem. Abst. Acont. Tripeiros a.r. 1030 231 568 8 56 101 0 0 Tripeiros d.r. 1007 306 646 8 0 152 1 12 Pupilas a.r. 2737 154 1052 23 37 13 0 0 Pupilas d.r. 2498 73 806 32 3 18 13 10 Viscondessa a.r. 457 71 172 31 50 29 0 0 Viscondessa d.r 375 68 239 8 6 22 7 0 Maias a.r. 8065 2265 1463 361 591 254 0 0 Maias d.r. 8148 2553 1778 324 92 522 137 12 Febo a.r. 1977 540 703 64 73 210 0 0 Febo d.r. 1870 369 841 22 0 264 36 20 Mulata a.r. 1673 419 700 73 79 57 0 0 Mulata d.r. 2462 280 204 36 9 3 1 0 Ambi¸cõesa.r. 1287 403 447 33 124 47 0 0 Ambi¸cõesd.r. 1354 204 831 22 21 61 10 7 Viagens a.r. 1692 540 567 101 128 22 0 0 Viagens d.r. 1326 607 701 103 32 123 8 10

Tabela 5: Que tipos de entidades mencionadas: a.r. significa antes da revisão(ou seja, automaticamente analisado pelp PALAVRAS-NER), d.r. depois da revisão.

Id 1 2 3 4 5 6 7+ nossas expectativas iniciais: ou seja, que a re- visãoseria consideravelmente mais rápida do que Tri 1481 463 153 45 5 1 1 a anota¸cãototal; e que textos com grafia mo- Pup 2774 363 282 31 2 1 0 derna seriam significativamente mais fáceisde re- Vis 636 43 39 8 1 0 0 ver ou anotar. Mai 11919 1281 624 245 18 5 2 Feb 2707 540 274 35 3 0 0 Do processo de anota¸cãomanual, conclu´ımos Mul 2462 280 204 36 9 3 1 que hácertas classifica¸cõesque équase imposs´ıvel Amb 2020 348 129 18 11 2 0 conseguir automaticamente. Exemplos sãocasos Viag 2538 176 211 20 8 3 0 de gent´ılicosque descrevem uma moda de barba (su´ı¸cas), nomes de pessoas que se referem a uma Tot 26537 3494 1916 438 57 18 4 época (relógioLu´ısXV), ou nomes de obras que incluem profissõese locais, como o Barbeiro de Tabela 6: Qual o comprimento das entidades Sevilha. mencionadas, depois de revistas Particularmente dif´ıceis,confirmamos, sãoos casos de locais com nomes de pessoas: uma vi- Assim como procurador do povo (no sentido de venda chamada Vila Balzac ou uma freguesia de- representante nas Cortes) por oposi¸cãoa procu- nominada SãoDomingos. rador (no sentido de profissãojudicial moderna). Finalmente, deveria ser poss´ıvel corrigir erros Estas duas observa¸cões(sobre a dicotomia re- sistemáticosem rela¸cãoa personagens de uma visão/anota¸cãoe grafia antiga/moderna) sãoes- obra, como éo caso de Carlos da Maia, sempre pecialmente interessantes porque vãocontra as interpretado pelo PALAVRAS-NER como uma 40– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek pessoa (Carlos) de uma organiza¸cão(Maia) no E,´ portanto, muito importante salientar que o livro Maias, ou Tomé, sistematicamente classifi- processo de revisãonãosignifica apenas corrigir cado como Lugar em vez de Pessoa na obra Febo. erros, mas tambémadaptar ou “personalizar”, (Embora isto seja poss´ıvel de fazer, nãofoi con- para uma dada tarefa, um sistema mais genérico. templado no processo de revisãoque relatamos Passaremos a uma avalia¸cãomais objetiva dos aqui, e époss´ıvel que tenha contribu´ıdonegati- resultados nas seçcõesque se seguem, depois de vamente para a percep¸cãodo(s) revisor(es).) apresentar em mais pormenor a informa¸cãoque obtivemos com a revisão.

3.5.1. Erro ou divergˆencia? 4. Resultados detalhados

A nossa experiênciade revisãodos textos anota- As trêstabelas apresentadas antes estão,natu- dos automaticamente leva-nos a considerar que ralmente, longe de esgotar a informa¸cãoque po- houve váriasrazõespara uma divergênciaentre a demos obter com este processo. opiniãohumana e a do sistema automático,que Podemos, por exemplo, indagar quais as enti- convémidentificar e também“resolver” de um dades mais comuns em cada obra (Tabela7). Po- modo diferente. demos ver imediatamente quais as personagens Em primeiro lugar, uma das caracter´ısticas centrais nas obras (que sãosempre as entidades mais salientes da divergênciaéaquilo que se pode mais frequentes), assim como algumas profissões considerar uma profissãodo ponto de vista de ser e gent´ılicosque podem dar uma idea do ambi- uma atividade constante ou essencial, e aquilo a ente, e por vezes locais. Assim, fala-se de al- que poderemos antes chamar papel, e que pode caides, mouras, cavaleiros e besteiros nos Tripei- ser temporárioou acessório.Para o PALAVRAS- ros, mas de viscondessas, padres e operáriosna NER – e eventualmente para outros analistas hu- Viscondessa. As Pupilas têmreitor, lavrador e manos – nãofaria sentido separar os dois ca- padre, enquantos os Maias têmmarquêse con- sos, mas no nosso caso nósapenas estávamos in- dessa. Febo tem castelhanos, rei e Cardeal, e a teressados em profissões como categorias socio- Mulata criada, médico,artista e poeta. O que profissionais, ou como t´ıtulos nobiliárquicosou nãoéprevis´ıvel éa presen¸cade Deus, que édas eclesiásticos(prior do Crato, duque de Palmela) mais frequentes no Febo, na Viscondessa, na Mu- ou hierárquicos(presidente, grão-mestre). lata e nas Viagens, e provavelmente reflete mais Isso levou a que muitas “profissões”reconheci- o discurso direto do que um viésreligioso. das pelo PALAVRAS-NER fossem por nósrejei- Mas podemos fazer uma análisesemelhante tadas, como emissário,leitor, representante, propor categoria. Em vez de nos concentrarmos no feta, portador, educador, orador e muitos outros. conjunto de todas as entidades mencionadas, po- Tambémdecidimos nãoconsiderar classe ou esta- demos apreciar cada tipo separadamente. tuto social como profissão,e portanto nãoanotar Assim, come¸candopelos lugares, vemos na Fi- povo, clero, nobreza, escravo, proprietário,ama. gura7, na distribui¸cãoem númerosabsolutos Alguns dos “erros” do PALAVRAS-NER que os Maias mencionam quase 2500 lugares, en- deveram-se, por outro lado, a conflitos entre vari- quanto as Pupilas apenas nomeiam cerca de 100. edades do português: rapariga terásido sinónimo Tendo em conta que as obras têmdimensões de prostituta, uma profissão,em portuguêsdo bastante diferentes, e comparando valores rela- Brasil, mas significa apenas menina em português tivos, vemos que as Pupilas têma menor densi- de Portugal, Veja éuma revista brasileira da atu- dade de lugares, enquanto os Maias jánãodife- alidade, mas isso éirrelevante para a literatura rem muito dos Tripeiros ou das Viagens. do séculoXIX; ou entre diferentes épocas: como Mas alémde uma análisequantitativa pode- éo caso do procurador e do correio jámenci- mos também investigar que lugares é que são onados; cavaleiro antigamente era uma posi¸cão mais mencionados (Tabela8), e quantos lugares social ou um lugar no exército,mas muitas vezes diferentes por obra (Tabela9). tambémindicava apenas alguémque se deslocava Vemos assim que aqueles textos que mais men- a cavalo (por isso nãoconsiderámosprofissão),e cionam lugares, também são, talvez não sur- Prior do Crato éagora um largo de Lisboa, mas preendentemente, aqueles que os repetem mais: em romance históricosrefere-se a uma pessoa es- Mais uma vez os Maias estãono topo. Exce¸cão pec´ıfica,e nãoa um local. Finalmente, enquanto para o caso da Mulata que, talvez por ser pas- cenógrafo énos nossos dias uma profissãocono- sada no Brasil, menciona bastantes lugares mas tada com o teatro, no séculoXIX significava apa- pouco os repete. rentemente cenário. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 41

Viscondessa Pupilas Tripeiros Maias Viscondessa 76 Daniel 535 Fernando 76 Carlos 1714 Julio 73 Margarida 427 Irene 57 Ega 1069 Alfredo 70 Clara 334 JoãoBispo 54 Dâmaso 374 viscondessa 37 reitor 246 Garifa 51 Vila¸ca 283 Deus 26 Pedro 182 João 37 Maria 240 Cecilia 25 Josédas Dornas 138 Gon¸caloDomingues 36 Craft 235 Felisbella 21 JoãoSemana 105 alcaide 33 Afonso 202 Virginia 19 padre 84 moura 33 Alencar 198 padre 12 Guida 78 besteiro 28 Lisboa 195 operario 12 Joana 71 Mestre 28 Ramalhete 167 sr. Francisco Alves 11 Sr. Reitor 60 JoãoRamalho 26 Cruges 166 sr. Francisco 8 Joãoda Esquina 58 Gaia 26 marquês 152 creado 8 Sr.ª Teresa 47 Rui Pereira 26 condessa 137 creada 8 Clarinha 41 conde 24 Maria Eduarda 116 Maria 7 lavrador 39 cavaleiros 23 Paris 111 Febo Mulata Ambi¸cões Viagens Ana 203 Edmundo 515 João 161 Carlos 191 Deus 164 Honorina 193 Bella 100 Joanninha 170 Maria 128 Em´ılio 83 Candida 87 Deus 147 castelhano 111 Deus 79 Viscondessa 65 frade 137 Tomé 110 Julião 72 Visconde 55 Santarem 82 Febo 109 criada 40 Vihegas 56 fr. Diniz 76 D. Alonso 109 senhora Maria 31 Pillar 48 Georgina 50 Fernão 108 médico 26 Isabella 44 Lisboa 50 Cardeal 95 artista 25 Telles 41 Portugal 43 Marcos 90 criado 22 Lisboa 37 poeta 40 Febo Moniz 79 senhor Edmundo 19 abbade 36 Julia 36 rei 66 Em´ılia 15 dr. Ramalho 35 Joanna 35 Margarida 58 turco 15 Maximiano 35 Cartaxo 29 Lisboa 55 poeta 15 Maria Helena 35 frades 26 castelhanos 55 Rio Grande 14 doutor 35 Laura 26

Tabela 7: As 15 entidades mais frequentes em cada obra

Obra Lugares Tripeiros Gaia 26, Lisboa 20, Porto 19, Castela 18, Le¸ca15, Olival 10, S. Domingos 9, Monsaraz 8, Portugal 8, Miragaia 7, Douro 7 Pupilas Porto 15, Lua 8, Terra 8, Sol 6, Coimbra 4 Viscondessa Alcantara 7, Portugal 4, Fran¸ca4, Lisbôa3, theatro de D. Maria 3 Maias Lisboa 195, Ramalhete 167, Paris 111, Sintra 106, Santa Olávia103, Olivais 66, Portugal 61, Rua de S. Francisco 59 Febo Lisboa 55, Portugal 35, Santarém24, Espanha 19, Almeirim 14, Tejo 12 Mulata Rio Grande 14, SãoPaulo 10, Rio 9, Juiz de Fora 9, Pascoal 8, Tijuca 8, Rua do Ouvidor 8, Botafogo 7, Roma 7, Largo do Pa¸co7 Ambi¸cões Lisboa 37, Paris 24, Portugal 13, Inglaterra 8, Coimbra 7, casa do Maximiano 5 Viagens Santarem 74, Lisboa 49, Portugal 40, Cartaxo 26, Tejo 15, Inglaterra 14, Azambuja 12, pinhal da Azambuja 10

Tabela 8: Quais os lugares mais mencionados por obra 42– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek

(a) N´umerosabsolutos (b) N´umerosrelativos

Figura 7: Distribui¸c˜aodos lugares

Obra Diferentes Locais Repeti¸cão ver Figura8, mas a n´ıvel relativo isso nãoétão pronunciado. Desta vez as Pupilas nãose desta- Tripeiros 123 306 2,49 cam pela negativa, sendo a Mulata e a Viscon- Pupilas 29 73 2,52 dessa as que apresentam menos designa¸cõesde Viscondessa 43 68 1,58 pessoas. Isto estámuito provavelmente relacio- Maias 500 2553 5,11 nado com o pequeno númerode personagens das Febo 116 369 3,18 duas obras. Mulata 228 411 1,80 Ambi¸cões 73 204 2,79 Olhando agora para as profissões,deparamo- Viagens 229 607 2,65 nos com outra situa¸cão. Embora ainda existam mais profissõesnos Maias em termos absolutos, Tabela 9: Lugares diferentes e repeti¸cão visto que éa obra mais longa, em termos relativos sãoclaramente os Tripeiros que ganham. Em rela¸cãoaos gent´ılicos, sãoos romances Devemos tambémcomentar o facto de que a históricos,provavelmente porque descrevem ba- Lua, o Sol e a Terra foram considerados luga- talhas e lutas contra outros povos ou pa´ıses,que res na anota¸cãodas Pupilas. Se os tivéssemos levam a palma no uso de demónimos. relegado para Outro (planeta, abstra¸cão),ainda A últimacategoria que nos parece fazer sen- ter´ıamosmenos lugares mencionados na referida tido comparar éa das Obras, atéporque um obra — nas outras obras ou nem lua nem sol fo- trabalho anterior (Stankovićet al., 2019) pare- ram grafados com maiúsculas16, ou seja como for ceu apontar para uma diferen¸casignificativa en- nãochegaram a ser dos mais mencionados: Terra tre textos canónicose nãocanónicosexatamente émencionada 25 vezes nos Maias e 1 vez na Mu- no que se referia àmen¸cão(ou não)de nomes lata, mas nãochegam para atingir as posi¸cõesde de obras, que seriam muito mais frequentes nos topo na lista de lugares. casos em que as obras pertenciam ao cânone.Os Se considerarmos agora o númerode pessoas resultados no nosso (pequeno) universo nãocon- mencionadas, mais uma vez sãoos Maias a obra firmam essa hipótese. que usa mais nomes de pessoas (mais de 8000), Aqui sãoos Maias, as Viagens e a Mulata que 16De facto, nas Pupilas hámuitas outras ocorrências têmsignificativamente mais men¸cões a obras, o de sol e de lua tambémem minúsculas;estes lugares são que se pode explicar pelo facto de os protago- devidos a uma explica¸cãoastronómicadada por Daniel a nistas destes romances serem pessoas de cultura, uma crian¸cana quinta, e poderiam ser retirados da classifica¸cãode lugares. Referimos contudo esta situa¸cãoaqui lidos e habituados a comentar obras de outros no para mostrar a quantidade de incertezas e de decisões que seu dia a dia. Se olharmos para as obras men- sãoarbitrárias,mesmo numa anota¸cãohumana. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 43

5. Avalia¸c˜aodo desempenho do PALA- VRAS-NER

O trabalho efetuado atéagora, de revisãode uma anota¸cãoautomáticade nove romances, permite- nos duas coisas diferentes:

1. avaliar o desempenho do PALAVRAS-NER para este tipo de tarefa, e consequentemente a necessidade de revisão,assim como estimar a taxa de erro expectável no caso de anota¸cão sem revisãohumana; 2. desenvolver parâmetrosde estudo das obras li- teráriasdo per´ıodo COST, a serem testados e avaliados em maior númerode obras.

Tratamos aqui do primeiro aspeto, deixando o segundo para a próximaseçcão. Em rela¸cão especificamente ao desempenho do PALAVRAS- NER, depois de apresentar a precisão e a abrangênciado mesmo em rela¸cãoa alguns dos textos, tentaremos responder àsseguintes perguntas:

Hádiferen¸casignificativa entre o desempenho em textos com grafia moderna e antiga? Hádiferen¸casignificativa entre o desempenho em textos canónicose nãocanónicos? Há diferen¸ca significativa entre o desempenho em textos correspondentes a romances históricose textos modernos (ou melhor, con- temporâneosda época em que foram escritos)? Hááreas espec´ıficas em que o PALAVRAS- NER se atrapalha? Por exemplo tipos de entidades? Figura 8: Distribui¸cãoem númerosabsolutos, Existem regras fáceis de implementar no e relativos, das pessoas, das profissões,das obras PALAVRAS-NER e que aumentem o seu de- e dos gent´ılicos sempenho para o resto dos textos? A tabela 10 dáuma visãoglobal do desempe- cionadas nestes livros, vemos que nos Maias são nho do PALAVRAS-NER em rela¸cãoa estes tex- maioritariamente jornais (os dois mais frequen- tos, tomando a anota¸cãomanual como o correto. tes sãoa Corneta e o Figaro), na Mulata ro- (Devido a uma diferen¸ca entre o formato que foi mances contemporâneos(o Barãode Lavos e a revisto nas Pupilas e ao formato obtido automati- Dama das Camélias), e nas Viagens clássicos(os camente, nãopodemos, infelizmente, avaliar este Lus´ıadas e o Fausto). Isso espelha a vida quo- texto.) tidiana de Carlos da Maia, que gira àvolta da As medidas de avalia¸cãoempregadas sãoas pol´ıtica;de Edmundo, que éou tenta ser escritor; usuais neste tipo de tarefa de classifica¸cão,da- e do próprioAlmeida Garrett, poeta, romancista das pelas equa¸cõesseguintes, em que Corr re- e dramaturgo.17 presenta o númerode classifica¸cõescorretas produzidas pelo sistema, P res indica o númerode casos que deviam ser classificados, com base na 17Certamente o narrador de um romance nãopode geralmente ser identificado com o autor, mas neste caso não classifica¸cãohumana, e Esp indica o númerode parece haver muita diferen¸caentre o “eu” das Viagens e classifica¸cõeserróneas(ou espúrias)produzidas o próprioGarrett. pelo sistema. 44– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek

Corr falta Esp P A E Corr Precisão = (1) Corr + Esp Mai 208 304 34 .860 .406 .140 Mul 46 26 11 .807 .639 .193 Corr Abrangência = (2) Feb 193 71 9 .955 .731 .045 P res Tri 57 94 2 .966 .377 .034 Esp Vis 2 20 26 .071 .091 .929 Excesso = (3) Corr + Esp Amb 22 39 25 .468 .361 .532 Via 12 105 9 .571 .103 .429 As fórmulas sãoas mesmas quer se refiram à totalidade das entidades, ou apenas a uma cate- Tabela 11: Desempenho do PALAVRAS-NER goria espec´ıfica. Ao contráriodo HAREM, não em rela¸cãoaos demónimosnos textos revistos separamos a tarefa da identifica¸cãoe da classifica¸cão,nem aceitamos classifica¸cõesvagas: é apenas o desempenho da tarefa da classifica¸cão ou allemã, impedindo o PALAVRAS-NER de os que medimos, assumindo que apenas uma classi- reconhecer, no Febo (com grafia moderna), a es- fica¸cãoépertinente. magadora maioria dos demónimoseram castelhanos e portugueses, fáceisportanto de identificar. Corr falta Esp P A E Na tabela 12 mostramos os gent´ılicosmais fre- Mai 10702 1866 1208 .797 .759 .090 quentes em cada obra, em que vemos, surpreen- Mul 2456 203 247 .808 .820 .081 dentemente, que os ingleses aparecem com muito Feb 2759 356 408 .764 .776 .113 peso em quatro das sete obras. Ter-se-áde espe- Tri 1474 563 314 .783 .691 .167 rar pela análiseda cole¸cãointeira para confirmar Vis 502 176 206 .664 .691 .272 se têmde facto um papel importante na litera- Amb 1626 535 377 .686 .643 .159 tura portuguesa do per´ıodo considerado, ou se foi Via 2028 548 731 .646 .686 .233 apenas uma coincidência. Em rela¸cãoàsprofissões(e t´ıtulosde nobreza), Tabela 10: Desempenho do PALAVRAS-NER existem muito mais casos de palavras referindo- em sete textos revistos: P, A e E representam as em todas as obras, como se vêna tabela 13. respetivamente a precisão,a abrangênciae o ex- Inesperadamente, vemos que o reconheci- cesso, nesta e em próximastabelas. Por uma mento de profissõestem um desempenho relati- questãode formata¸cão,nestas tabelas o ponto vamente bom, e que portanto nãopodemos con- decimal éusado em vez da v´ırgula. cluir que as duas novas categorias constituam o calcanhar de Aquiles da anota¸cão. De qualquer Imediatamente observamos que os textos de maneira, éinteressante reparar que a abrangência grafia antiga (os últimosquatro) têmpior de- dos Maias estáno grupo dos piores, juntamente sempenho, como seria de esperar, sobretudo na com a Viscondessa e as Ambi¸cões.Por isso pode abrangência, mas não tão pronunciado como fazer sentido olhar para as profissõesdestes tex- tem´ıamos, mesmo entrando em conta com o tos, ou melhor, de todos, na tabela 12. facto de que a versãousada nos Tripeiros tinha Mas, ao contráriodo que vimos no caso dos inúmerosproblemas de segmenta¸cão,que podem gent´ılicos,o simples rol das profissõesmais fre- evidentemente impedir um programa de analisar quentes nãoparece explicar as diferen¸casencon- convenientemente o texto. tradas. Tivemos que investigar quais os casos de Quanto aos textos de romances históricos(Tri- profissõesque faltavam nos Maias: e a grande peiros e Febo) poderem apresentar pior desempe- maioria dos casos sãode t´ıtulos nobiliárquicos, nho do que os “modernos”, tal nãoéobservado como marquês ou duquesa que aparecem sozi- aqui. Vejamos mais em detalhe os casos das cate- nhos, e que nãosãomarcados como “profissões” gorias novas, ou seja, os gent´ılicose as profissões. pelo PALAVRAS-NER. Este éum caso óbvio de A análisedos demónimosmostra que esta ca- diferen¸ca entre as duas filosofias de anota¸cão,e tegoria varia muito de obra para obra. Na Vis- que seráfácilde resolver no futuro, quer adici- condessa, a obra com menos demónimos,o de- onando estes t´ıtulosao PALAVRAS-NER como sempenho épéssimo,no Febo, que tem muitos, Hprof, ou nãoas considerando na análisemanual. éo melhor. Impunha-se portanto uma análise Em últimolugar, na Figura9 apresentamos o mais aturada para identificar o porquêdestas di- desempenho (precisãoe abrangênciae F1) para feren¸cas,que foi fácilde descobrir: enquanto que, as trêscategorias mais frequentes: Locais, Pes- na Viscondessa, dos 13 tipos de denónimos,oito soas e Profissões,por obra, assim como os valores tinham grafia antiga, como francezes ou orientaes globais na mesma forma de visualiza¸cão. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 45

Obra Demónimos Mai inglesa 48, inglês44, português24, brasileira 22 Mul turco 15, cabocla 4, português4, ´ındia3 Feb castelhano 111, castelhanos 55, portugueses 20, português 14 Tri moura 33, galegos 13, castelhanos 12, portuenses 10 Vis portuguez 3, havano 3, mouro 2, francez 2 Amb inglesa 12, brazileiro 7, inglês4, portuguez 3 Via inglez 11, portuguez 11, ingleza 8, portugueza 5 Profissõesou t´ıtulos Mai marquês152, condessa 137, conde 87, criado 80 Mul criada 40, médico26, artista 25, criado 22 Feb Cardeal 88, rei 66, Prior 34, frade 33 Tri alcaide 33, besteiro 28, conde 24, cavaleiros 23 Vis Viscondessa 76, viscondessa 37, operario 12,padre 12 Amb Viscondessa 64, Visconde 45, abbade 36, doutor 35 Via frade 137, poeta 40, frades 26, barão23

Tabela 12: Demónimose profissõesmais frequentes em cada obra

Corr falta Esp P A E 6. Hip´otesessobre os textos liter´arios

Mai 1026 742 253 .802 .580 .198 As seguintes perguntas parecem ser pertinentes: Feb 649 150 155 .807 .812 .193 Mul 585 61 82 .877 .906 .123 Existe alguma rela¸cãoentre a popula¸cãode Tri 393 252 101 .796 .609 .204 entidades mencionadas e caracter´ısticasexte- Vis 105 130 53 .665 .447 .335 riores de uma obra, como a sua canonicidade Amb 375 392 71 .841 .489 .159 ou o (sub)géneroliterário? Via 471 225 92 .837 .677 .163 idem em rela¸cãoao tipo de entidades, ao com- Tabela 13: Desempenho do PALAVRAS-NER primento (em númerode palavras) dessas en- em rela¸cãoàsprofissõesnos textos revistos tidades Nãoconseguimos responder positivamente a ne- Concluindo, a tarefa que definimos como útil nhuma destas perguntas. Em caso nenhum con- para os textos literáriosexige certa adapta¸cãoe seguimos encontrar uma propriedade que sepa- fixa¸cãode critérios,visto que nãoexiste nenhum rasse as obras em duas classes obviamente distin- sistema que tenha sido desenhado para esta ta- tas, quer entre canónicase nãocanónicas, quer refa e para este tipo de textos. entre romances históricosou contemporâneos. O PALAVRAS-NER tem um desempenho De facto, as nove obras parecem ser dema- razoável, mas que pode ser melhorado se adici- siado d´ısparespara podermos ver qualquer cor- onarmos informa¸cãode dois tipos: rela¸cão.Uma (os Maias) émuito mais extensa do que as outras, o que pode levar a que tenha pro- léxico (ou melhor dizendo, ortografia) de priedades diferentes; outra (as Viagens) éescrita per´ıodos antigos no que se refere a profissõese na primeira pessoa, o que tambémpode resultar lugares em diferen¸cas relevantes; finalmente apenas uma (Ambi¸cões)éescrita por uma mulher, tudo fac- léxicode t´ıtulosque queiramos que sejam mar- tores que podem ser fontes de varia¸cãoadicional. cados tal como profissões Por isso, conclu´ımosque temos de classificar as cem obras de cole¸cãopara poder responder Se, além disso, através de um análise rápida a estas e outras perguntas com um m´ınimo de do seu resultado, conseguirmos identificar ca- confian¸ca,embora nãoseja de rejeitar a hipótese sos de erro sistemático que podemos corrigir de que a distribui¸cão,tipo e quantidade das en- (atravésda adi¸cãoao seu dicionário),pensamos tidades mencionadas nãotenha qualquer rela¸cão que pode ser usado para leitura distante, ano- com a qualidade literáriae ainda menos com a tando (semi)automaticamente as 100 obras da “canoniza¸cão”de algumas obras em detrimento cole¸cãoELTeC-por. de outras. 46– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek

(a) Locais (b) Pessoas

Figura 9: Avalia¸cãodo PALAVRAS-NER: Precisão,abrangênciae F1

7. Compara¸cãocom outros trabalhos Como consequênciadessa anota¸cão,identifi- caram que os nomes de pessoas e de “facilities” Nos últimos tempos temos assistido a alguns es- (locais criados pelo Homem) eram muito mais tudos de REM sobre textos literários,que men- referidos em texto literário,enquanto que orga- cionamos aqui. niza¸cõese entidades geopol´ıticascomo pa´ıseso Bamman et al.(2019) anotaram cerca de 210 eram muito menos. mil palavras de cem romances em inglêsno Lit- Descobriram alémdisso um viéspronunciado Bank data sheet, num per´ıodo comparável ao do contra o reconhecimento de personagens femini- ELTeC-por (escolhendo as primeiras 20.000 pala- nas: o sistema reconhecia sistematicamente me- vras de cada obra) com as diretivas do ACE LDC lhor homens do que mulheres, mesmo retirando (2005) (exceto a categoria armas), e utilizaram os casos óbvios de “Mr”, “Miss” e “Mrs.”. um sistema de REM treinado no material do ACE e treinado neste LitBank para mostrarem as diferen¸casde desempenho. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 47

No nosso caso, ao contráriodeste trabalho, mos aqui. Relembramos aliásque, ao contrário partimos de um conjunto de categorias que não do inglês, do holandês e do alemão, o por- tinha ainda sido testado para outros tipos de tuguêséuma l´ınguade sujeito nulo, o que com- texto, por isso compara¸cõesdiretas com os replica bastante esta contabiliza¸cão,como apon- sultados do HAREM (Santos & Cardoso, 2007; tado por Freitas et al.(2019). Mota & Santos, 2008) nãoseriam justas. Po- Por outro lado, estes estudos quase sempre se der´ıamos certamente comparar apenas nas ca- dedicam apenas a pessoas — e, por vezes, mesmo tegorias comuns, mas visto que o PALAVRAS- apenas a personagens. Lee & Yeung(2012) sãoa NER foi o vencedor do HAREM, nãose espe- exce¸cão,obtendo tanto pessoas como lugares em raria um decrécimode pontua¸cão. Por outro redes com dois tipos de nós(locais e pessoas). lado, a diferen¸cadevida àsnovas categorias já Frontini et al.(2020) fizeram uma primeira foi medida com cuidado no presente artigo. Além avalia¸cãodo desempenho de sistemas de REM disso, nãoestamos especialmente interessados em para quatro l´ınguas, com dois sistemas cada. ver se o texto literárioédiferente do conjunto Para o português, além do PALAVRAS-NER de textos usados nos váriosHAREM, visto que, foi usado o spaCy18. Este trabalho éevidente- ao contráriodo ACE, esta avalia¸cãofoi pensada mente o que mais se aproxima do que descreve- para váriosgénerose nãoapenas para texto jor- mos aqui, visto que se baseia no mesmo tipo de nal´ıstico. anota¸cão,contudo apenas trata pessoas e luga- Mas seria interessante como trabalho futuro res. A cole¸cãodourada para o portuguêsreferida identificar o génerodas pessoas mencionadas, e nesse artigo corresponde a excertos de 40 obras, confirmar se existe ou nãomais dificuldade de as primeiras vinte (53.958 palavras) com grafia reconhecer um ou outro género, além de essa moderna e as segundas (55.429 palavras) com análisenos permitir ter uma ideia mais clara da grafia original, ao todo correspondendo a 1999 popula¸cãodos romances (e de certa forma cor- pessoas e 607 lugares, enquanto o trabalho des- roborar, ou não,a observa¸cãofeita na seçcão2 crito no presente artigo refere-se a textos com- baseando-nos apenas nos t´ıtulos). pletos, totalizando 703.726 palavras, englobando Dekker et al.(2019) comparam quatro siste- 4.591 lugares e 19.040 pessoas. mas de REM para identificar personagens (melhor dizendo, redes de personagens) em romances 8. Conclusõese trabalho futuro antigos e modernos de fiçcãocient´ıficaem inglês (vinte de cada): BookNLP, StanfordNER, Illi- Neste artigo apresentamos uma cole¸cãode cem nois NET e IXA-Pipe-NERC, e criam também obras literáriasportuguesas constru´ıdano âmbito uma cole¸cãodourada com essas entidades e code uma a¸cãoeuropeia de forma a comparar várias referências. Chamam a aten¸cãopara casos de literaturas, cole¸cãoessa publicamente acess´ıvel19. nomes dif´ıceis(por exemplo contendo apóstrofes como D’Artagnan), e para a possibilidade de ser Essa cole¸cãoserátanto mais útilquanto for útilmanter diferentes designa¸cõesda mesma per- pass´ıvel de ser “lida” a distância,e um dos me- sonagem nas redes. Já Valaa et al.(2015) ti- canismos para o fazer éidentificar automatica- nham usado alguns sistemas de REM para pre- mente que entidades lásãomencionadas. ver o númerode personagens numa obra, mas o Por isso, e como trabalho preliminar para esse foco principal era compreender co-referênciasen- objetivo, apresentamos um sistema de reconheci- tre denomina¸cõesde personagens. mento de entidades mencionadas, o PALAVRAS- de Does et al.(2017) estudam o REM da iden- NER, assim como oito textos revistos de acordo tifica¸cãode pessoas em romances em holandês, com diretivas especialmente pensadas para a literatura europeia. Essa anota¸cãopode ser ins- criando um sistema especificamente para esse 20 dom´ınio. Krug et al.(2018) criaram uma cole¸cão pecionada , para que os leitores possam ajuizar dourada para texto em alemão,com 90 excertos as dificuldades do processo, assim como a (falta) de romances totalizando quase 400 mil palavras, de qualidade em termos dos materiais usados — em que todas as personagens estãomarcadas e desde erros de codifica¸cãodo própriotexto até identificadas. uma divisãoautomáticade frases muito defici- ente produzida pelo BRAT. Convém,contudo, salientar que estes sistemas nãomarcam apenas nomes própriosquando se re- Neste artigo, alémde descrevermos o processo ferem a personagens: pronomes e descri¸cõesno- de revisão,analisamos detalhadamente o desem- minais tambémsãomarcados. Por isso mais uma 18https://spacy.io/ vez nãopodemos comparar facilmente os valo- 19https://github.com/COST-ELTeC/ELTeC-por res e os resultados com o estudo que apresenta- 20http://dinis2.linguateca.pt/brat-v1.3_ Crunchy_Frog/#/Marcin/ 48– Linguamatica´ Diana Santos, Eckhard Bick & Marcin Wlodek penho do PALAVRAS-NER sobre cada obra e trabalho 1 da açcãoCOST, nomeadamente Lou cada tipo de entidade, assim como tentamos ex- Burnard e Carolin Odebrecht, e do responsável plorar possibilidades de leitura distante das obras principal da a¸cão,Christof Schöch. atravésda frequência,da distribui¸cãodas entida- Tambémagradecemos àBiblioteca Nacional des, e dos seus casos mais frequentes. de Portugal, na pessoa da Dra. Margarida Conclu´ımos que o analisador era suficiente- Concei¸cãoLopes, o ter prontamente digitalizado mente bom para ser aplicado àcole¸cãointeira, vinte obras a nosso pedido. com eventuais adi¸cões aos seus léxicospara dar O terceiro autor agradece o apoio financeiro da conta de ortografias anteriores. Universidade de Oslo para a revisãoda anota¸cão Contamos, por isso, em breve anotar auto- dos textos aqui descrita. maticamente toda a cole¸cãocom entidades men- Agradecemos àequipa de HPC da Universi- cionadas (além de análisemorfossintática), de dade de Oslo, assim como ao grupo Sigma, o forma a caracterizá-lausando informa¸cãodesta apoio computacional, a Tino Didrichsen o apoio anota¸cão. em rela¸cãoao vislcg3, e a Ranka Stankovićo Quanto àobten¸cãoautomáticade redes de apoio em rela¸cãoao sistema de conversão“NER personagens, trabalho inicial usando uma iden- and Beyond”. tifica¸cãopreliminar das váriasmaneiras de no- Finalmente, agradecemos a todos os elemen- mear uma mesma pessoa em algumas obras, foi tos da Linguateca que leram e comentaram este járelatado por Santos & Freitas(2019). Será artigo, e a Bruno Martins e a JoséJoãoDias de preciso desenvolver um processo de o realizar Almeida por um trabalho aturado de revisãocom (semi)automaticamente, de forma a podermos muitas sugestõespertinentes. comparar cem ou mais redes de forma análoga àde Dekker et al.(2019), mas isso teráde ficar para uma próximaocasião. Referências Tambémpretendemos realizar a identifica¸cão dos lugares mencionados na literatura como um Bamman, David, Sejal Popat & Sheng Shen. todo, como inicialmente discutido por Sanches 2019. An annotated dataset of literary entities. et al.(2019), caracterizando os romances passa- Em Conference of the North American Chapter dos no campo ou na cidade, identificando os cen- of the Association for Computational Linguis- tros de poder e de referência,e eventualmente tics, 2138–2144. 10.18653/v1/N19-1220. quais as conota¸cõescom eles relacionadas, na es- Barbosa, Heloisa Gon¸calves & Lia Wyler. 2009. teira de Cooper & Gregory(2011). Este éum Brazilian tradition. Em Gabriela Saldanha & trabalho — paralelo — em progresso, mas que Mona Baker (eds.), Routledge Encyclopedia of jápermitiu verificarmos que a maior parte das Translation Studies, 326–332. entidades mencionadas que aqui referimos como “lugares” nãoidentificam lugares no mapa, real Bick, Eckhard. 2000. The parsing system ”Pala- ou fict´ıcio,mas sim questõesde identidade, abs- vras”: Automatic grammatical analysis of Por- tractas, ou metonimicamente aplicadas. tuguese in a constraint grammar framework: Finalmente, como járeferido na seçcãoante- Aarhus University. Tese de Doutoramento. rior, encontra-se tambémem curso uma inves- Bick, Eckhard. 2006. Functional aspects in Por- tiga¸cãosobre se hádiferen¸cas sistemáticasna tuguese NER. Em Renata Vieira, Paulo Qua- men¸cãode pessoas (e personagens) de acordo resma, Maria da Gra¸caVolpes Nunes, Nuno J. com o seu géneroe, em caso positivo, quais. Mamede, CláudiaOliveira & Maria Carme- lita Dias (eds.), Computational Processing of Agradecimentos the Portuguese Language (PROPOR), 80–89. 10.1007/11751984_9. Estamos gratos àa¸cãoCOST “Distant reading Bick, Eckhard. 2007. Automatic semantic role for European literary history” sem a qual este annotation for Portuguese. Em Workshop em trabalho nãoteria existido. A a¸cãoéfinanciada Tecnologia da Informa¸cãoe da Linguagem Hu- pela COST e pela UniãoEuropeia, atravésdo mana (TIL), 1715–1719. programa Horizon 2020. Sem a equipa do COST portuguêsnãoteria sido poss´ıvel criar a cole¸cão. Cooper, David & Ian N. Gregory. 2011. Nomeadamente: a Raquel Amaro, Paulo Silva Mapping the English lake district: A li- Pereira e Isabel AraújoBranco, assim como às terary GIS. Transactions of the Insti- diversas revisoras contratadas. Alémdisso, foi tute of British Geographers 36(1). 89–108. muito apreciado o apoio dos l´ıderesdo grupo de 10.1111/j.1475-5661.2010.00405.x. Avaliando entidades mencionadas na cole¸cãoELTeC-por Linguamatica´ – 49

Dekker, Niels, Tobias Kuhn & Mariekke van Odebrecht, Carolin, Lou Burnard & Chris- Erp. 2019. Evaluating named entity recog- tof Schöch (eds.). 2020. European Literary nition tools for extracting social networks Text Collection (ELTeC). COST Action Dis- from novels. PeerJ Computer Science 5(189). tant Reading for European Literary History 10.7717/peerj-cs.189. (CA16204). 10.5281/zenodo.4274954. de Does, Jesse, Katrien Depuydt, Karina Van Version 1.0.0, November 2020. Dalen-Oskam & Maarten Marx. 2017. Names- Sanches, Danielle, Daniel Alves & Diana Santos. cape: named entity recognition from a literary 2019. O projeto BILLIG: aplicando sistemas perspective. Em CLARIN in the Low Coun- de informa¸cãogeográficae lingu´ısticacompu- tries, 361–370. tacional ao estudo da literatura. Apresenta¸cão ELTeC. 2018. Sampling criteria for the ELTeC. no Primeiro Encontro sobre leitura distante em Relatóriotécnico.COST Action CA16204 – português. WG1. Santos, Diana. 2020. Cole¸cão portuguesa ELTeC. 2019. Annotation guidelines for named de romances e novelas (ELTeC-por). entities in ELTeC corpus. Relatóriotécnico. 10.5281/zenodo.4271644. Versãov0.9.0, COST Action CA16204 – WG2. novembro de 2020. Freitas, Cláudia,Elvis de Souza & Lu´ısaRocha. Santos, Diana & Nuno Cardoso (eds.). 2007. HA- 2019. Quantificando e qualificando o sujeito REM, a primeira avalia¸cãoconjunta de siste- oculto em português.Em Jornada de descri¸cão mas de reconhecimento de entidades mencio- do Português, s/pp. nadas para português: documenta¸cãoe actas do encontro. Linguateca. Frontini, Francesca, Carmen Brando, Joanna Byszuk, Ioana Galleron, Diana Santos & Santos, Diana & CláudiaFreitas. 2019. Estu- Ranka Stanković.2020. Named entity recog- dando personagens na literatura lusófona.Em nition for distant reading in ELTeC. Em CLA- Symposium in Information and Human Lan- RIN Annual Conference 2020, 37–41. guage Technology (STIL), 48–52. Hall, Johan & Jens Nilsson. 2005. Converting de- Santos, Diana, CláudiaFreitas & JoãoMarques pendency treebanks to MALT-XML. Relatório Lopes. 2018. Ler e estudar a literatura lusófona técnico.Computer Science, VäxjöUniversity. como parte da literatura mundial: recursos Herrmann, J. Berenike, Carolin Odebrecht, Di- para leitura distante em português.Em Suemi ana Santos & Pieter Francois. 2020. Towards Higuchi & CláudioJoséSilva Ribeiro (eds.), I modeling the european novel. introducing EL- Congresso Internacional em Humanidades Di- TeC for multilingual and pluricultural distant gitais no Rio de Janeiro (HdRio2018), 375– reading. 10.17613/tfbp-p625. Presenta- 383. CPDOC/FGV. tion at the Digital Humanities Conference. Santos, Diana, Nuno Seco, Nuno Cardoso & Rui Krug, Markus, Lukas Weimer, Isabella Reger, Vilela. 2006. HAREM: an advanced NER eva- Luisa Macharowsky, Stephan Feldhausa, Frank luation contest for Portuguese. Em Confe- Puppe & Fotis Jannidis. 2018. Description of a rence on Language Resources and Evaluation corpus of character references in german novels (LREC), 1986–1991. - DROC [Deutsches ROman Corpus]. Relatório Stanković,Ranka, Diana Santos, Francesca Fron- técnico.Georg-August-Universität,Göttingen. tinia, TomaˇzErjavec & Carmen Brando. 2019. LDC. 2005. ACE (Automatic Content Extrac- Named entity recognition for distant reading tion) English annotation guidelines for enti- in several european literatures. Apresenta¸cão ties, version 5.6.1. Relatóriotécnico.Linguistic na Digital Humanities Conference. Data Consortium. Valaa, Hardik, David Jurgens, Andrew Piper Lee, John & Chak Yan Yeung. 2012. Extrac- & Derek Ruths. 2015. Mr. Bennet, his co- ting networks of people and places from lite- achman, and the archbishop walk into a bar rary texts. Em Pacific Asia Conference on but only one of them gets recognized: On Language, Information and Computation, 209– the difficulty of detecting characters in li- 218. terary texts. Em Conference on Empirical Methods in Natural Language Processing, 769– Mota, Cristina & Diana Santos (eds.). 2008. De- 774. 10.18653/v1/D15-1088. safios na avalia¸cãoconjunta do reconhecimento de entidades mencionadas: O segundo HA- REM. Linguateca.

Proposta recebida em Maio 2020 e aceite para publica¸c˜aoem Novembro 2020.

Avalia¸c˜aode recursos computacionais para o portuguˆes Evaluating computational resources for Portuguese

Matilde Gon¸calves Lu´ısaCoheur Instituto Superior Técnico Instituto Superior Técnico Universidade de Lisboa Universidade de Lisboa INESC-ID Lisboa INESC-ID Lisboa [email protected] [email protected] Jorge Baptista Ana Mineiro Universidade do Algarve Instituto de Ciênciasda Saúde INESC-ID Lisboa Universidade CatólicaPortuguesa [email protected] Centro de Investiga¸cãoInterdisciplinar em Saúde [email protected]

Resumo mance. In this work, we propose an evaluation of tools, publicly available and free, that perform the tasks Têmsido desenvolvidas váriasferramentas para of Part-of-Speech Tagging and Named Entity Recog- o processamento da l´ınguaportuguesa. No entanto, nition, for the Portuguese language. We evaluate devido a escolhas variadas na base dos comporta- twelve different models for the first task and eight for mentos destas ferramentas (diferentes op¸cõesde pré- the second. All the resources used in this evaluation processamento, diferentes conjuntos de etiquetas mor- (mapping tables between labels, testing corpora, etc.) fossintáticase de dependências, etc.), torna-se dif´ıcil will be made available, allowing to replicate/fine-tune ter uma ideia do desempenho comparativo de cada the results here presented. We also present a qualita- uma. Neste trabalho, avaliamos um conjunto de fer- tive analysis of two dependency parsers. To the best ramentas gratuitas e publicamente dispon´ıveis, que of our knowledge, no recent work that considers the realizam as tarefas de Etiqueta¸cãoMorfossintáticae recent available tools, was carried out for the Portu- de Reconhecimento de Entidades Mencionadas, para guese language. a l´ıngua portuguesa. Sãotidos em conta doze modelos diferentes para a primeira tarefa e oito para a Keywords segunda. Todos os recursos usados nesta avalia¸cão natural language processing, evaluation of resources, (tabelas de mapeamento de etiquetas, corpora de re- portuguese language, part-of-speech tagging, named ferência,etc.) sãodisponibilizados, permitindo repli- entity recognition, dependency parsing car/afinar os resultados. Apresentamos ainda um estudo qualitativo de dois analisadores de dependências. Nãotemos conhecimento de nenhum trabalho similar recente, isto é,que tenha em conta as ferramentas atu- 1. Introdu¸cão ais dispon´ıveis, realizado para a l´ıngua portuguesa. Palavras chave A área do Processamento da Linguagem Na- tural (PLN) encontra-se em profunda expansão processamento da linguagem natural, avalia¸cãode re- e em Portugal nãoéexcep¸cão. Se háalguns cursos, l´ınguaportuguesa, análisemorfosintática,re- anos os trabalhos computacionais ligados àl´ıngua conhecimento de entidades mencionadas, análisede portuguesa eram de pura investiga¸cão,hoje em dependências dia váriasempresas têmprojetos neste campo, desenvolvendo sistemas de pesquisa em dados médicos,agentes virtuais, sistemas de tradu¸cão, Abstract etc. Do mesmo modo, váriosagentes interessados utilizam ferramentas que operam sobre o por- There are several tools for the Portuguese lan- tuguêse, apesar de a l´ınguainglesa continuar a guage. However, and due to different choices at ser imbat´ıvel em termos de recursos dispon´ıveis, the basis of these tools’ behaviour (different pre- existem actualmente váriasferramentas gratui- processing, different labels, etc.), it becomes difficult tas que oferecem modelos pré-treinados(ou facil- to have an idea of each one’s comparative perfor- mente treináveis) para a l´ınguaportuguesa, em DOI: 10.21814/lm.12.2.331 Linguamatica´ — ISSN: 1647–0818 This work is Licensed under a Creative Commons Attribution 4.0 License Vol. 12 Núm. 2 2020 - Pág. 51–68 52– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro especial para as variantes do portuguêseuropeu cial destaque para as tabelas de mapeamento de e do Brasil. Coloca-se, então,a questãode es- etiquetas. Estas permitem avaliar os sistemas so- colher a ferramenta mais adequada para a tarefa bre a mesma referência,sendo o ponto que maior em mãos.Vários trabalhos têm-sefocado na ava- dificuldades acarreta ao levar a cabo uma tarefa lia¸cãode ferramentas (Gamallo & Garcia, 2013), de avalia¸cãocom sistemas tãovariados, os quais alémdas que têmsido levadas a cabo no qua- retornam etiquetas diferentes, em especial na ta- dro de diferentes fora de avalia¸cãoconjunta para refa de EMS. De notar, igualmente, que neste a l´ınguaportuguesa, tendo como objectivo deter- artigo vãoser avaliadas apenas ferramentas dis- minar o estado da arte em váriastarefas de PLN. pon´ıveis publica e gratuitamente para a l´ıngua Algumas destas avalia¸cõesconjuntas focaram-se portuguesa. Alémdisso, apresentamos um esna avalia¸cãode ferramentas que realizam tare- tudo qualitativo de duas ferramentas que reali- fas de base, nomeadamente Etiqueta¸cão Mor- zam a tarefa de Análisede Dependências(AD), fossintática(EMS) — Morfo-olimp´ıadas(Santos tendo em conta váriosfactores, tais como a pon- et al., 2003)1 — e Reconhecimento de Entidades tua¸cão,a segmenta¸cãoe a etiquetagem morfos- Mencionadas (REM) — MiniHAREM, primeiro e sintática,dos quais dependem as dependências segundo HAREM (Santos & Cardoso, 2007; San- obtidas. De notar que se trata de um estudo qua- tos et al., 2008), bem como IberLEF-2019 (Col- litativo das sa´ıdasde dois sistemas, sem qualquer lovini et al., 2019). Outras avalia¸cõesvisaram pretensãode generalidade ou de quantificar essas tarefas de mais alto n´ıvel, tais como determinar observa¸cões. a similaridade semântica entre duas frases (Fon- As contribui¸cõesdeste trabalho são,pois: seca et al., 2016). Todas estas competi¸cõessão tipicamente montadas por equipas de peritos em a constru¸cãode dois corpora de referência, um PLN, responsáveis pelos dados de treino, cole¸cões para cada uma das tarefas (EMS e REM); douradas, etc. (Santos et al., 2003); do mesmo a adapta¸cãodos corpora de referênciatendo modo, em todas estas em conta os diferentes pré-processamentos dos competi¸cões participam usualmente equipas dados, realizados pelas diversas ferramentas; que fazem a sua investiga¸cãoem PLN. Ora, nos dias de hoje, mais do que saber exa- os scripts de conversãoentre as etiquetas de tamente qual o estado da arte na realiza¸cãode cada ferramenta e as etiquetas dos corpora de uma tarefa, os não-especialistas precisam de po- referência; der decidir (rapidamente) que ferramentas usar. a avalia¸cãode nove ferramentas (doze modelos Dada toda a oferta actual, perdemo-nos facil- diferentes) na tarefa de EMS; mente na avalia¸cãode ferramentas. Assim, neste a avalia¸cãode oito modelos distintos na tarefa artigo, focamo-nos na avalia¸cãode ferramentas de REM; que realizam as tarefas de EMS e REM para a l´ıngua portuguesa (portuguêseuropeu). No a avalia¸cão(qualitativa) de dois analisadores entanto, não é nosso objectivo comparar de- na tarefa de AD. talhadamente as váriasferramentas e escolher a vencedora com base em sofisticados corpora Apesar de, ao longo dos anos, váriostrabalhos de referênciaanotados, tal como realizado em se focaram na avalia¸cãode ferramentas para a avalia¸cões anteriores, nomeadamente nas leva- l´ıngua portuguesa, nãotemos conhecimento de das a cabo pela Linguateca2, mas mostrar como, um trabalho similar a esta escala. com base numa metodologia simples mas cor- Este artigo estáorganizado como se segue: reta, se pode ter uma ideia da utilidade de na Seçcão2, apresentamos as ferramentas em uma ferramenta e/ou modelos associados, conso- análisee, na Seçcão3, todo o setup experimental. ante as necessidades da aplica¸cãofinal em vista. A Seçcão4 trata os resultados relativos àEMS Tambémnãoénosso objetivo trazer os utiliza- e a Seçcão5, os resultados relativos àtarefa de dores para uma avalia¸cão. No entanto, além REM. Finalmente, na Seçcão6, apresenta-se o da facilidade de instala¸cão e de utiliza¸cão de estudo relativo àAD e, na Seçcão7, resume-se cada ferramenta, mostramos como estas podem as principais conclusõese discute-se o trabalho ser testadas, dando pistas sobre a sua aplicabili- futuro. dade. Todo o códigousado, bem como recursos lingu´ısticoscriados, estãodispon´ıveis3, com espe-

1https://www.linguateca.pt/Morfolimpiadas/ 2http://www.linguateca.pt 3https://gitlab.hlt.inesc-id.pt/lcoheur/ptools Avalia¸c˜aode recursos computacionais para o portuguˆes Linguamatica´ – 53

2. Ferramentas em análise conjunto de programas para a linha de comandos chamado NLTK-Trainer8 que permite ao uti- Nesta seçcão,sãodescritas as ferramentas e mo- lizador abstrair-se da programa¸cão, facilitando delos pré-treinados,desenvolvidos para o proces- o treino de modelos presentes na ferramenta, a samento de português,para as tarefas de EMS e avalia¸cãodesses modelos e a análisede corpora. REM (e, em dois casos, de AD), e disponibiliza- A instala¸cãoda plataforma NLTK encontra-se dos gratuitamente. A maioria destas ferramen- documentada para cada sistema operativo9. Por tas fornece modelos pré-treinadospara as tarefas outro lado, a utiliza¸cãodas componentes que a em estudo. As linguagens de programa¸cãodes- ferramenta oferece éfacilitada com exemplos de tas ferramentas alternam entre o Java, o C++ utiliza¸cão,incluindo a realiza¸cãode tarefas para e o Python, e, de um modo geral, apresentam a l´ınguaportuguesa10. documenta¸cão,o que torna relativamente fácil a sua instala¸cãoe utiliza¸cão. Algumas destas ferramentas podem ser usadas em linha de co- 2.3. OpenNLP mando, nãoexigindo muitos conhecimentos de O OpenNLP (Apache Software Foundation, programa¸cão. 2014)11 éuma biblioteca para Java, que fornece modelos pré-treinados,inclusive para português, 2.1. FreeLing para a tarefa de EMS. A documenta¸cãopara a instala¸cãoda ferramenta nãose encontra refe- O FreeLing (Padró, 2012)4 éuma biblioteca open renciada na páginada ferramenta12, o que difi- source em C++, que disponibiliza modelos pré- cultou a instala¸cão. No entanto, no site da fer- treinados para o português,para (entre outras) as ramenta, existe um guia de referênciabem estru- tarefas de EMS e REM. Encontra-se dispon´ıvel turado, que descreve os modos de utiliza¸cãoda um manual de utilizador5 completo e bem estru- ferramenta, o procedimento para treino de mo- turado, no qual sãodescritos os procedimentos de delos e a execu¸cãode cada componente com base instala¸cão,importa¸cãopara outras linguagens de em modelos pré-treinados. Estas informa¸cões, programa¸cão,o sistema de etiquetas, etc. Ape- sãoacompanhadas por exemplos. O OpenNLP sar de a maioria das tarefas de FreeLing estar oferece ainda um modo de utiliza¸cãobaseado na dispon´ıvel atravésde linha de comandos, algu- execu¸cãode programas na linha de comandos. mas funcionalidades apenas sãoacess´ıveis usando Assim, para treinar, testar e aplicar esta ferra- a ferramenta como biblioteca. menta com modelos pré-treinadosnas diferentes tarefas de PLN, nãosãoexigidos conhecimentos de programa¸cão.Por ser uma biblioteca direcio- 2.2. NLTK nada para a linguagem de programa¸cãoJava, a sua importa¸cãopara Python requer uma compo- O NLTK (Bird et al., 2009)6 éuma das plata- nente que fa¸caa liga¸cão.Para tal, neste trabalho formas mais utilizadas em PLN. Nãodispõede usou-se a interface nltk-opennlp13. modelos pré-treinadospara o português,mas oferece váriasfuncionalidades (implementadas em Python), bem como vários corpora (incluindo 2.4. NLPyPort em português europeu), que permitem criar modelos para várias tarefas de PLN. Os cor- O NLPyPort (Ferreira et al., 2019b,a)14 (Python) pora dispon´ıveis para o processamento de texto realiza as tarefas de EMS e REM, disponibili- em portuguêsfazem parte do projeto Floresta zando os modelos criados. Os recursos usados Sintática7. De notar que os corpora do Flo- pelo NLPyPort, àexcep¸cãodos da tarefa de iden- resta Sintática permitem treinar modelos ca- tifica¸cãodo lema, sãobaseados em modelos e pazes de realizar a tarefa de EMS, mas não fun¸cõesda ferramenta NLTK, previamente apre- contêm informa¸cão sobre entidades nomeadas, sentada. A` fun¸cãogenéricade divisãoem tokens pelo que a realiza¸cãoda tarefa de REM depende 8 da existênciade outros corpora. Acess´ıvel em https://github.com/japerk/nltk- trainer e documentado em https://nltk- O uso desta plataforma requer algum conhe- trainer.readthedocs.io/en/latest/ cimento em programa¸cão. Contudo, existe um 9https://www.nltk.org/install.html 10http://www.nltk.org/howto/portuguese_en.html 4http://nlp.lsi.upc.edu/freeling/index.php/ 11http://opennlp.apache.org/ 5https://freeling-user-manual.readthedocs.io/ 12O procedimento da instala¸cãoencontra-se na página en/latest/ https://opennlp.apache.org/building.html 6http://www.nltk.org 13https://github.com/paudan/opennlp_python 7https://www.linguateca.pt/Floresta/. 14https://github.com/jdportugal/NLPyPort 54– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro da ferramenta NLTK (word tokenize), o NLPy- fordNLP éuma interface para Python da ferra- Port adiciona uma fun¸cãode identifica¸cãode pro- menta Stanford CoreNLP, em Java, que o grupo nomes cl´ıticose contra¸cões.De notar que existe Stanford NLP disponibiliza. A interface para uma versãoanterior desta ferramenta compat´ıvel Python requer conhecimentos em programa¸cão. com projetos desenvolvidos na linguagem de pro- No entanto, as mesmas funcionalidades que o grama¸cãoJava (Rodrigues et al., 2018)15. StanfordNLP apresenta podem ser executadas por via da linha de comandos, usando a ferramenta principal (Stanford CoreNLP). Existem 2.5. Polyglot tutoriais20 que descrevem os passos da instala¸cão O Polyglot (Al-Rfou, 2015)16 éuma biblioteca e utiliza¸cãodesta biblioteca, assim como exemplos para as diferentes tarefas de PLN, nomeada- para Python que suporta funcionalidades que 21 permitem realizar váriastarefas de PLN para mente para as de EMS e REM . diversas l´ınguas, incluindo as de EMS e REM. Dispõeainda de modelos pré-treinadoscapazes 2.8. TreeTagger de levar a cabo ambas as tarefas em análise.Por consistir numa biblioteca (Python), a sua uti- Das tarefas em estudo, o TreeTagger (Màrquez liza¸cãopressupõealguma experiênciacom pro- 22 17 & Rodr´ıguez, 1998) realiza apenas a tarefa de grama¸cão. A documenta¸cão desta ferramenta EMS para o portuguêseuropeu, oferecendo mo- encontra-se bem estruturada e os procedimentos delos pré-treinados. Os procedimentos relativos para a sua instala¸cãoe importa¸cãoestãodescritos àsua instala¸cãoe uso sãodescritos de forma clara de forma clara. A documenta¸cãoinclui também no site da ferramenta. O modo de utiliza¸cãode tutoriais e informa¸cõessobre cada tarefa, o que TreeTagger nãoimplica conhecimentos de pro- simplifica o seu uso. grama¸cão,pois pode ser realizado atravésda linha de comandos. A ferramenta pode ser igual- 2.6. SpaCy mente importada para Python por via de uma componente intermediária, como por exemplo, O SpaCy (Honnibal et al., 2020)18 é uma bi- treetagger-python23. Sãotambémdisponibiliza- blioteca que incorpora modelos pré-treinadosde dos tutoriais24. váriasl´ınguas, inclusive de português, para as tarefas de EMS, REM e AD. Esta ferramenta foi pensada para ser importada como biblioteca 2.9. LinguaKit em programas Python e nãodisponibiliza outras op¸cõesde uso. A sua documenta¸cãocontém,en- O LinguaKit (Gamallo & Garcia, 2017a) une tre outras informa¸cões,procedimentos para a sua váriasferramentas de processamento da l´ıngua instala¸cão,importa¸cãopara outras linguagens e natural permitindo a realiza¸cãode tarefas como a realiza¸cãodas diferentes tarefas de PLN, acom- lematiza¸cão,análisede sentimentos, análisemor- panhados de exemplos, o que contribui para a fossintática,análisesintática,reconhecimento e sua usabilidade. No entanto, nãoexiste docu- classifica¸cãode entidades nomeadas, entre ou- menta¸cãosobre as etiquetas usadas, o que com- tras. As diferentes tarefas podem ser executadas através da linha de comandos ou pela plicou a sua avalia¸cãono que respeita a tarefa 25 26 de EMS. versão web . No repositório do LinguaKit encontram-se as instru¸cões de instala¸cão,procedimentos e exemplos de utiliza¸cãoda ferramenta 2.7. StanfordNLP atravésda linha de comandos.

19 O StanfordNLP (Qi et al., 2018) éuma biblio- 20https://stanfordnlp.github.io/stanfordnlp/ teca para Python, que permite realizar váriasta- installation_usage.html#getting-started refas de PLN, incluindo EMS e REM. Tal como 21Por falta de memóriaRAM foi necessáriousar o servi- o SpaCy, tambémrealiza AD. O StanfordNLP dor da Google (Google Colabs) para instalar a biblioteca (seguir estes passos: https://stanfordnlp.github.io/ oferece modelos pré-treinadospara 53 l´ınguas, stanfordnlp/). 22 inclusive para português. Na realidade, o Stan- https://www.cis.uni-muenchen.de/~schmid/ tools/TreeTagger/ 15https://github.com/rikarudo/NLPPORT. 23https://github.com/miotto/treetagger-python 16https://draquet.github.io/PolyGlot/ 24https://freeling-tutorial.readthedocs.io/en/ 17https://polyglot.readthedocs.io/en/latest/ latest/ Installation.html 25https://www.linguakit.com/es/analisis- 18http://www.spacy.io completo 19http://stanfordnlp.github.io/stanfordnlp/ 26https://github.com/citiususc/Linguakit Avalia¸cãode recursos computacionais para o português Linguamatica´ – 55

2.10. Modelos pré-treinados para a ta- Tipo Fonte % refa de Reconhecimento de Entida- des Mencionadas Revistas Visão 30 Exame Informática 29 O trabalho descrito por Pires(2017) fornece mo- Jornais Observador 27 delos pré-treinadospara a tarefa de REM, para o Público 2 portuguêseuropeu. Estes modelos – doravante modelos-SIGARRA – foram treinados com as Livro 13 ferramentas OpenNLP, StanfordNLP, SpaCy27 e NLTK, com base no corpus SIGARRA NEWS. Tabela 1: Composi¸cãodo corpus de referência. Neste trabalho, vamos tambémavaliar estes modelos tendo em conta a tarefa de REM. ponto de avalia¸cão.Assume-se assim que os textos que chegam àsdiferentes ferramentas estão 3. Setup Experimental limpos de erros ortográficos. Seguidamente, foram anotadas as classes gra- O primeiro passo foi criar um corpus de referência maticais e informa¸cões de flexão associadas a (ou coleçcãodourada ou corpus de teste) para as cada palavra e respetiva classe. Por exemplo, duas tarefas em análise. Esse corpus édescrito para um substantivo, alémdo seu tipo (comum na Seçcão 3.1. O segundo passo foi atender a ou próprio), foram igualmente anotados o seu especificidades de cada ferramenta, o que levou géneroe número.Da mesma forma, para os ver- a modifica¸cõesdo corpus de referência(Seçcão bos foram anotados o modo, o tempo, a pessoa e 3.2) no que respeita àsegmenta¸cãofeita pelas di- o número. Repetiu-se este processo para as ou- ferentes ferramentas. De seguida, foram ainda tras classes gramaticais. A Tabela2 apresenta definidos vários scripts que transformam etique- a frequênciade cada classe e a Tabela3 lista tas do corpus criado nas etiquetas usadas pelas a frequênciadas entidades nomeadas na cole¸cão diferentes ferramentas (Seçcões 3.3e 3.4 para a dourada. conversãode etiquetas na tarefa de EMS e REM, De notar que esta tarefa de anota¸cãonãofoi respetivamente). Finalmente, apresentam-se as realizada por um perito. A ideia nãoéter um medidas de avalia¸cão,na Seçcão 3.6. corpus perfeito sob o ponto de vista da anota¸cão, mas um corpus que representasse o que um não- perito consideraria interessante/correto anotar. 3.1. Constru¸cãodo Corpus de Referência

O corpus de referênciaécomposto por 101 frases retiradas de revistas, jornais e livros portugue- 3.2. Adapta¸cãoàsdiferentes ferramentas ses, dispon´ıveis on-line. Para efeitos deste es- Como foi dito, cada ferramenta apresenta as suas tudo considerou-se um corpus de referênciare- particularidades no que respeita ao modo como duzido, ainda que constru´ıdotendo em conta al- processa texto, o que implica que a cole¸cãodou- guma diversidade e propor¸cãodas fontes utiliza- rada anterior nãopossa ser usada sem antes ser das, nomeadamente, por ser constitu´ıdopor dife- pré-processada de acordo com as caracter´ısticas rentes tipos de texto e, dentro de cada tipo, com de cada ferramenta. Por exemplo, a maior parte fontes diversas, para abranger diferentes usos da destas ferramentas nãodivide contra¸cões. As- l´ıngua. Dessas frases, 59% pertencem a revistas sim, a cole¸cãodourada teve de ser adaptada a como a Visão28 e a Exame Informática29, 29% são algumas ferramentas: Polyglot, NLTK, SpaCy e de jornais (jornal Observador30 e as restantes do OpenNLP. Por outro lado, as ferramentas Free- Público31) e 13% pertencem ao livro “O Pr´ıncipe Ling e LinguaKit permitem unir locu¸cõese no- com Orelhas de Burro”, de JoséRégio(Tabela1). mes compostos, sendo uma op¸cãoque decidi- Antes da anota¸cãodas frases, foram corrigidos mos explorar. Por exemplo, a locu¸cão“a par- pequenos erros ortográficos,pois este nãoera um tir de”, apesar de ter 3 palavras, évista como 27As instru¸cõespara o carregamento do modelo da fer- uma unidade lexical, o que érepresentado ligando ramenta SpaCy nãose ajustaram ao ficheiro, pelo que não os seus elementos por underscore: “a partir de”. foi poss´ıvel usar esse modelo. A razãopode ter ficado a Esta particularidade implica que, para estas fer- dever-se àincompatibilidade da versãomais recente da ramentas, sejam anotadas como uma unidade as ferramenta com o modelo. locu¸cõese nomes compostos da coleçcãodou- 28https://visao.sapo.pt 29https://visao.sapo.pt/exameinformatica/ rada, ao invésde serem anotados separadamente 30https://observador.pt. os elementos gramaticais que compõemessas ex- 31https://www.publico.pt pressões. 56– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro

Classes Sub-classes Frequência Adjetivo (Adj) 179 Advérbio(Adv) Nega¸cão(N) 15 Normal (G) 73 Conjun¸cão(Conj) Coordenativa (C) 93 Subordinativa (S) 58 Determinante (Det) Artigo (Art) 468 Indefinido (Ind) 24 Possessivo (Poss) 14 Demonstrativo (Dem) 35 Interrogativo (Int) 2 Nome (Nom) Comum (C) 699 Próprio(P) 109 Numeral (Num) 77 Preposi¸cão(Prep) 525 Pronome (Pron) Pessoal (Pes) 23 Indefinido (Ind) 4 Relativo (Rel) 43 Demonstrativo (Dem) 16 Verbo (Verb) Auxiliar (Aux) 82 Indicativo (Ind) 142 Condicional (Cond) 3 Conjuntivo (Conj) 5 Gerúndio(Ger) 13 Partic´ıpioPassado (PP) 98 Infinitivo (Inf) 74

Tabela 2: Frequênciade cada classe morfossintáticana cole¸cãodourada.

Classes Frequência No que respeita àtarefa de Reconhecimento de Entidades Mencionadas, foram consideradas Organiza¸cão 30 as entidades espec´ıficasde cada uma das ferra- Localiza¸cão 22 mentas, de modo a que as sa´ıdas das diversas Pessoa 8 ferramentas fossem compatibilizadas com as en- Data 21 tidades consideradas na cole¸cãodourada. Tabela 3: Frequênciade cada classe de entidades nomeadas na cole¸cãodourada. 3.3. Sobre as Classes Morfossintáticas

Cada ferramenta tem o seu sistema de classes A forma como as unidades textuais são ou etiquetas morfossintáticaspara as tarefas de segmentadas (segmenta¸cão) varia igualmente.. PLN. O acesso a esta informa¸cão facilita a Por exemplo, algumas ferramentas consideram conversãoautomáticadas anota¸cõesda cole¸cão “quarta-feira” como um únicotoken e outras se- dourada nas etiquetas das diferentes ferramen- param cada elemento da palavra (“quarta”, “-” tas. Esta tarefa nãoé,de todo, trivial devido e “feira”). Jáo OpenNLP considera os verbos li- àsdiferen¸casnas etiquetas das ferramentas e, em gados a pronomes cl´ıticoscomo um únicotoken, alguns casos, devido àindisponibilidade de um como sucede em “reuniram-se” e em “escondê- manual de utilizador que descrevesse o conjunto lo”. Esta variedade de caracter´ısticas, tornou de s´ımbolos poss´ıveis. E´ o caso da ferramenta árduaa compatibilidade da cole¸cãodourada prin- SpaCy, que nãopossui uma descri¸cãodas eti- cipal com todas as ferramentas, pelo que foram quetas morfossintáticas.No entanto, foi poss´ıvel, criadas diferentes cole¸cõesdouradas, espec´ıficas na maioria dos casos, mapear sem problemas de para cada ferramenta. maior, as etiquetas usadas pelo corpus de re- Avalia¸cãode recursos computacionais para o português Linguamatica´ – 57 ferêncianas etiquetas das diferentes ferramentas. atribu´ıdaa um token quando o sistema nãocon- De notar ainda que algumas ferramentas contri- segue identificar a sua classe gramatical. Essa buem com etiquetas com uma maior granulari- etiqueta (“N”) corresponde àclasse gramatical dade (por exemplo, o FreeLing, tal como se verá nome. Assim, existem duas etiquetas diferentes adiante). (“N” e “n”) para a classe nome comum e decidimos tratar estas duas etiquetas como sendo a mesma. 3.3.1. NLTK, OpenNLP e NLPyPort

O sistema de etiquetas do NLTK corresponde ao 3.3.2. Polyglot e StanfordNLP conjunto de etiquetas com a categoria gramatical utilizado na anota¸cãodos corpora da Floresta As ferramentas Polyglot e StanfordNLP baseiam Sintática32. Quanto ao OpenNLP, nãose encon- as suas etiquetas nas da CoNLL-U (Buchholz trou, na documenta¸cãoda ferramenta, uma des- & Marsi, 2006), compostas por várioselementos cri¸cãodo conjunto de etiquetas para o modelo em que descrevem morfossintaticamente uma pala- português,apenas para a l´ınguainglesa. No en- vra. Um dos elementos corresponde àclasse gra- 33 tanto, verificou-se que o sistema de etiquetas do matical universal, UPOS ; outro dos elementos 34 OpenNLP ésemelhante ao da ferramenta NLTK, vem do FEATS , que descreve informa¸cõesmor- existindo uma ligeira diferen¸caentre ambos no fológicasassociadas àpalavra. Com este con- tratamento de sinais de pontua¸cão:o OpenNLP junto universal de etiquetas, a correspondência agrupa os sinais de pontua¸cãosob uma únicaeti- entre as anota¸cões da cole¸cão de referência e queta, ao contráriodo NLTK, que considera cada as classes gramaticais realizou-se de uma forma sinal de pontua¸cão como uma classe distinta. mais simples. No entanto, o Polyglot sóapre- Desta forma, para a conversãodas anota¸cões, senta informa¸cõessobre a classe gramatical uni- procedeu-se de maneira semelhante àda ferra- versal. Em particular, o conjunto de etique- menta NLTK, àexce¸cãodos sinais de pontua¸cão tas morfossintáticasusado nos modelos do Poly- que precisaram de um outro processamento. Por glot corresponde àsclasses gramaticais princi- outro lado, as etiquetas consideradas nestas duas pais da Tabela2, como adjetivo, determinante, ferramentas nãocontêm informa¸cãode flexão. advérbio,etc. Alémdisso, o NLTK e o OpenNLP distinguem apenas verbos no infinitivo, gerúndio e partic´ıpio 3.3.3. SpaCy passado; todos as restantes formas verbais são classificadas de forma indiferenciada como “ver- No que respeita ao SpaCy, e tal como dito ante- bos finitos”. Relativamente aos tipos de Prono- riormente, apesar de ter uma fun¸cãoque permite mes sósãoidentificados 3 tipos (v.g. determi- obter a descri¸cãode uma determinada etiqueta, o nativos, pessoais e independentes). A existência sistema nãodisponibiliza um glossáriocompleto de uma descri¸cãodo conjunto de etiquetas faci- com a descri¸cãodas etiquetas relativas àanálise litou a conversãodas anota¸cõesda cole¸cãodou- de texto em português,o que dificultou a com- rada, apesar de nãoser totalmente clara a ca- preensãodos resultados obtidos. Assim, o seu sis- tegoriza¸cãode alguns determinantes e pronomes, tema de etiquetas nãoéclaro, apesar de, aparen- como por exemplo a classe pron-det (pronome de- temente, se basear igualmente nos mesmos for- terminativo). Por esta razão,as etiquetas relati- malismos standard do Polyglot e StanfordNLP. vas aos pronomes e determinantes serãotratadas No entanto, partilha as etiquetas relativas aos àparte. pronomes e determinantes do NLTK e OpenNLP. Quanto ao NLPyPort, avaliou-se apenas o mo- A conversãoautomática tornou-se mais complexa delo pré-treinadopara a tarefa de EMS. Dado para esta ferramenta. que os recursos da ferramenta NLPyPort se baseiam na ferramenta NLTK e o modelo para 3.3.4. FreeLing, LinguaKit e TreeTagger esta tarefa foi treinado com os corpora Bosque da Floresta Sintática e Mac-Morpho (Fonseca No manual de utilizador da ferramenta FreeLing & Rosa, 2013), o conjunto de etiquetas mor- encontram-se descritos os conjuntos de etiquetas fossintáticasassemelha-se ao conjunto de etique- morfossintáticase de entidades nomeadas. Além tas da ferramenta NLTK. Contudo, tal como no das classes gramaticais principais, as etiquetas OpenNLP, os sinais de pontua¸cãosãoagrupa- contêminforma¸cõessobre outros aspetos mor- dos numa mesma etiqueta, punc. Existe ainda fológicoscomo o género,número,modo e tempo uma etiqueta adicional (etiqueta por omissão) 33https://universaldependencies.org/u/pos/. 34https://universaldependencies.org/u/feat/ 32https://www.linguateca.pt/ index.html 58– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro verbal. Por exemplo, para os adjetivos, as classes últimaetiqueta corresponde a entidades nomea- existentes têmem conta o tipo, o género,grau e das que nãose integram em nenhuma das cate- número.O sistema de etiquetas desta ferramenta gorias anteriores. No entanto, por ser uma classe éextenso, tornando a conversãoautomáticacom- amb´ıgua,tokens que nãosãoreconhecidos como plexa. Porém,a descri¸cãoclara de cada classe no entidades na cole¸cãodourada como “Verão”são manual de utilizador evitou dificuldades na cor- classificados como Outros. Para facilitar a ava- respondênciaentre as anota¸cõesda cole¸cãodou- lia¸cãoautomática,foi adicionada mais uma eti- rada e as etiquetas. De acordo com os autores35, queta (“O”) que identifica os tokens que não o LinguaKit tem as mesmas etiquetas que o Free- sãoentidades. Finalmente, quanto ao Polyglot, Ling36. No entanto, foram encontradas pequenas este deteta apenas 3 classes de entidades: Pes- diferen¸cas. soa (I-PER), Localiza¸cão(I-LOC) e Organiza¸cão O TreeTagger utiliza um sistema de etiquetas (I-ORG). Tal como para a ferramenta anterior semelhante, no qual, alémdas classes gramaticais foi adicionada a etiqueta “O”, com o mesmo principais, sãorepresentadas outras informa¸cões significado. morfológicasdas palavras37. No entanto, as classes nãopossuem o mesmo n´ıvel de especificidade 3.5. Sobre a Análisede Dependências que as do FreeLing. Por exemplo, apenas a classe dos nomes incorpora informa¸cõessobre flexãoem No que respeita àtarefa de AD, cinco frases fo- géneroe número. A descri¸cãodo conjunto das ram aleatoriamente retiradas do corpus e proces- classes tambéméclara. Quanto àsetiquetas dos sadas pelas ferramentas SpaCy e StanfordNLP. verbos, sóapresentam informa¸cãosobre o tipo As frases sãoas seguintes: do verbo (auxiliar ou principal) e os modos verbais. Tal como na ferramenta FreeLing, as con- 1. Num comunicado enviado àsredaçcões,o gabi- tra¸cõessãoresolvidas automaticamente e identifi- nete do primeiro-ministro fazia saber que con- cadas com o sinal “+”. Por exemplo, a contra¸cão siderava que a interpreta¸cãoda lei que defen- “das” éidentificada com “SPS + DA” por ser a dia a demissãoimediata de um governante por contra¸cãode uma Preposi¸cão(SPS) com o Artigo negóciosde empresas de familiares com entida- Definido (DA) (“de + as”). des públicas,mesmo que estas nada tivessem a ver com o titular de cargo pol´ıtico,“ultrapassa largamente, no seu âmbito e consequências,o 3.4. Sobre as Entidades Mencionadas que tem sido a práticacorrente ao longo dos anos”. Como dito anteriormente, consideraremos os modelos pré-treinadospara a tarefa de REM, para o 2. Em 2016, váriosmembros do governo ameri- portuguêseuropeu, tais como descritos em Pi- cano que estavam a prestar servi¸cosem Ha- res(2017) (os modelos-SIGARRA) e treinados vana, Cuba , assim como os seus familiares , com as ferramentas OpenNLP, StanfordNLP e come¸carama queixar-se de uma sériede sin- NLTK, com base no corpus SIGARRA NEWS38. tomas neurológicos,incluindo dificuldades de Este corpus écomposto por 1.000 artigos reti- concentra¸cãoe memória,tonturas e problemas rados da seçcãode not´ıcias do sistema de in- visuais e de equil´ıbrio. forma¸cãoda Universidade do Porto (SIGARRA) 3. Os sintomas foram associados àexposi¸cãoa e, de acordo com Pires(2017), o seu conjunto sons repentinos e de grande intensidade e vo- de etiquetas corresponde a oito classes relaciona- lume de uma fonte desconhecida que os pa- das com o dom´ıniodos corpora: Hora, Evento, cientes reportam ter ouvido nas suas casas e Organiza¸cão,Curso, Pessoa, Localiza¸cão,Data e quartos de hotel. UnidadeOrganica. 4. Nem o seu marido, porém,voltou a reparar No que respeita àsrestantes ferramentas, o nesse ind´ıcio que uma tarde lhe gelara nos FreeLing e o LinguaKit apresentam as seguin- lábiospalavras de exprobra¸cãoe cólera. tes classes de entidades e as respetivas etiquetas: Pessoa (NP00SP0), Localiza¸cão(NP00G00), Or- 5. Um homem de 44 anos foi identificado. ganiza¸cão(NP00O00) e Outros (NP00V00). Esta Seguidamente, os resultados do processa- 35https://gramatica.usc.es/pln/tools/ mento foram dados a um especialista, para CitiusTools.html análise, sem que fossem identificadas as ferra- 36 https://github.com/citiususc/Linguakit/blob/ mentas. Este analisou os resultados das frases master/tagger/tagset_pt-es-gl.html 37 dadas tendo em conta a pontua¸cão,segmenta¸cão, https://www.cis.uni-muenchen.de/~schmid/ tools/TreeTagger/data/Portuguese-Tagset.html. etiquetagem morfossintáticae, finalmente, as de- 38rdm.inesctec.pt/ro/dataset/cs-2017-006 pendências. Avalia¸cãode recursos computacionais para o português Linguamatica´ – 59

3.6. Medidas de Avalia¸cão o efeito. No entanto, alguns modelos têmas suas especificidades. Assim, para o modelo de bigra- Estando as etiquetas da cole¸cãodourada em con- mas, cada bigrama éum token, tal como identi- formidade com as etiquetas de cada ferramenta, o ficado pelo tokenizador; no caso de aparecer um próximopasso consistiu em decidir que medidas token nunca visto no treino, decidiu-se atribuir, usar na avalia¸cão.Optámospor usar a Micro- e por omissão,a etiqueta “n” (classe gramatical a Macro-Médiada medida F1, tal como descritas Nome), por ser a classe mais comum. Nos casos por Jurafsky & Martin(2019) e implementadas em que os modelos requeriam a recolha de ca- 39 no scikit-learn , pois tambémsãousadas por racter´ısticas(features) dos dados, foram usadas outros trabalhos nesta área,tais como o proposto caracter´ısticasmuito simples, como a própriapa- por Garcia & Gamallo(2015). lavra, a palavra anterior e a seguinte, se a palavra corrente come¸cava com maiúscula,etc. A sele¸cão 4. Etiqueta¸cãoMorfossintática das features dita o desempenho da ferramenta. No entanto, estáfora do âmbito deste trabalho Come¸camospor discutir alguns aspectos relati- desenvolver um estudo exaustivo sobre as featu- vos aos modelos criados pelo NLTK. De seguida, res a utilizar. apresentamos e discutimos os resultados obtidos pelos diferentes modelos e ferramentas. 4.2. Resultados Globais A Tabela4 apresenta os resultados globais dos 4.1. Sobre o Modelos do NLTK diferentes modelos, tendo em conta a totalidade das etiquetas (de cada ferramenta) e conside- Todas as ferramentas com a excep¸cãodo NLTK rando a Micro- e a Macro-médiarelativas àme- oferecem modelos pré-treinados. Assim, para dida F1, tal como definidas anteriormente. Deve- esta ferramenta, foram treinados váriosmode- mos real¸carque estes valores nãopermitem uma los. Um desses modelos éo modelo de Bigramas, compara¸cãototalmente justa dos diferentes mo- tal como apresentado nos manuais do NLTK. Fo- delos, pois, como dito anteriormente, os valores ram ainda implementados modelos baseados na de Micro- e Macro-Médiada F1 sãocalculados MáximaEntropia e ainda um modelo denomi- com base no conjunto de etiquetas de cada ferra- nado Perceptrão,pois o OpenNLP fornece mo- menta, que varia entre estas. Assim, estes valores delos baseados nestes dois algoritmos e consi- devem dar apenas uma ideia geral. De modo a derámosinteressante a compara¸cão. De notar comparar de forma justa estes modelos, a seçcão que poderiam ter sido implementados modelos seguinte detalha os valores para estas medidas mais adequados àpredi¸cãode sequências,como sem ter em conta as informa¸cõesde flexão. os HMM ou os CRF (Lafferty et al.(2001)) ou ainda modelos baseados em redes neuronais. No entanto, a ideia foi testar o que a ferramenta ofe- 4.3. Resultados por Classe Gramatical rece directamente. Todos estes modelos foram A Tabela5 permite comparar os diferentes mo- treinados nos corpora “Floresta Sintática”,dis- delos tendo em conta as categorias que têmem pon´ıveis com o NLTK40. De notar que a versão comum e sem ter em conta as informa¸cõesde dispon´ıvel no NLTK da Floresta Sintáticanão flexão. De notar que sãoapenas mostradas as contémalguns sinais de pontua¸cãocomo dois- classes gramaticais mais relevantes (‘Bg’ repre- pontos <:>, reticências < >, parênteses cur- senta o modelo baseado em Bigramas, ‘P’ o Per- vos e o s´ımbolo de percentagem··· < % >, pelo ceptrão, ‘ME’ a Máxima Entropia, ‘NLPy’ o que estes items nãosãoprevistos pelos diferentes NLPyPort, ‘PG’ o Polyglot, ‘TT’ o TreeTag- modelos. A divisãoem tokens das frases foi rea- ger, ‘FL’ o FreeLing, ‘StfNLP’ o StanfordNLP e lizada pela fun¸cão word tokenize41. A cria¸cãode ‘ONLP’ o OpenNLP). As Tabelas6e7 apresen- qualquer um dos modelos nãorequer um grande tam os resultados para os dois grupos de modelos esfor¸co na óticade um informático, pois con- que partilham algumas etiquetas espec´ıficas. siste em importar uma biblioteca própriapara

39https://scikit-learn.org 4.4. Discussão 40Os modelos disponibilizados pelo OpenNLP, SpaCy e StanfordNLP tambémutilizam este corpus. Os melhores resultados globais sãoobtidos pelo 41 Esta fun¸cãotem a particularidade de mudar as aspas OpenNLP, Máxima Entropia, 91% de Macro- iniciais <“> de uma frase para dois acentos graves <``> e Médiae aos 94% de Micro-Média,porém,éim- as finais <”> para duas plicas <00>. Por isso, énecessária uma reconversãopara aspas, antes do treino e teste dos portante real¸carque o n´ıvel de detalhe do con- dados. junto de etiquetas da ferramenta nãoétãofino 60– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro

Ferramenta Micro-Média Macro-Média NLTK (Bigramas) 0.87 0.69 NLTK (Perceptrão) 0.89 0.71 NLTK (MáximaEntropia) 0.93 0.74 NLPyPort 0.86 0.83 Polyglot 0.79 0.68 Spacy 0.90 0.47 FreeLing 0.90 0.58 LinguaKit 0.83 0.48 TreeTagger 0.91 0.73 StanfordNLP 0.91 0.61 OpenNLP (Perceptrão) 0.93 0.77 OpenNLP (MáximaEntropia) 0.94 0.91

Tabela 4: Micro- e Macro-M´ediarelativos a F1 para os diferentes modelos.

NLTK NLPy SpaCy ONLP Classes PG TT FL LinguaKit StfNLP Bg P ME ME P Adj 0.76 0.82 0.83 0.75 0.63 0.89 0.92 0.96 0.81 0.94 0.88 0.85 G 0.91 0.84 0.85 0.89 Adv 0.81 0.77 0.81 0.80 0.46 0.85 0.82 0.81 N 0.97 0.97 0.93 0.97 C 0.97 0.95 0.96 0.97 0.94 0.95 0.97 0.94 0.97 0.97 0.97 0.98 Conj S 0.56 0.72 0.60 0.60 0.56 0.68 0.87 0.88 0.75 0.74 0.70 0.70 Det Art 0.95 0.93 0.96 0.97 - 0.97 0.94 0.99 0.95 0.98 0.96 0.97 C 0.82 0.91 0.93 0.81 0.93 0.95 0.94 0.98 0.92 0.98 0.94 0.94 Nom P 0.33 0.33 0.81 0.33 0.68 0.85 0.51 0.96 0.97 0.85 0.77 0.75 Num 0.84 0.95 0.98 0.83 0.72 0.96 0.98 0.95 0.80 0.97 0.94 0.97 Prep 0.95 0.95 0.96 0.97 0.85 0.96 0.97 0.99 0.95 0.96 0.96 0.96 Pron Pes 0.97 0.90 0.90 1.00 - 0.83 0.98 0.84 0.70 1.00 0.91 0.94 Verb Aux 0.00 0.84 0.00 0.00 0.00 0.73 Ind 0.88 0.82 0.83 0.81 0.85 0.88 0.94 0.97 0.88 0.96 0.97 Cond 0.50 * * 0.80 Conj 0.36 0.74 0.71 0.78 0.92 0.62 Ger 0.91 1.00 0.91 0.91 0.95 0.91 0.91 0.76 0.95 1.00 0.96 PP 0.82 0.95 0.92 0.82 0.94 0.96 0.95 0.79 0.93 0.96 0.96 Inf 0.89 0.93 0.95 0.89 0.91 0.92 0.94 0.91 0.95 0.96 0.95

Tabela 5: Valores de F1 para as categorias comuns. O * indica que o Condicional ´evisto como Indicativo por estes sistemas

Classes Polyglot TreeTagger FreeLing LinguaKit StanfordNLP Ind 0.96 1.00 0.96 0.91 Poss 1.00 1.00 0.70 1.00 Det 0.79 Dem 0.89 1.00 0.89 0.97 Int 0.00 0.00 0.00 1.00 Ind 0.46 0.89 0.43 0.75 Pron Rel0.70 0.93 0.94 0.88 0.94 Dem 0.79 0.86 0.76 0.90

Tabela 6: Valores de F1 para as ferramentas que têmas categorias Det e Pron mais finas Avalia¸cãode recursos computacionais para o português Linguamatica´ – 61

NLTK NLPy SpaCy OpenNLP Classes Bigramas Perc. ME ME Perc. Pron-det 0.83 0.79 0.86 0.88 0.81 0.89 0.88 Pron-indp 0.80 0.88 0.82 0.79 0.91 0.86 0.88

Tabela 7: Valores de F1 para as etiquetas Pron-det e Pron-indp. A primeira contémos determinantes, pronomes demonstrativos, pronomes interrogativos, pronomes possessivos e pronomes relativos; a segunda os pronomes indefinidos e outros pronomes de outras categorias que expressam imprecisão. quanto nos modelos anteriores, pois, tal como re- cri¸cãodesta etiqueta. Estas ferramentas também ferido anteriormente, o conjunto de etiquetas do unem numerais, por exemplo, consideram “10 mil OpenNLP nãocontéminforma¸cõesde flexãode milhões”como um único token. No que diz res- número,géneroe tempos verbais (ao contrário peito apenas ao FreeLing, estas uniõesnãosão de outras ferramentas como o FreeLing, o Stan- totalmente precisas, levando a erros de classi- fordNLP e o TreeTagger, que apresentam etique- fica¸cãode alguns tokens, como acontece na ex- tas mais finas). pressão“15 e 35”, que éconsiderado como um só Quanto àavalia¸cãopor classe, a ferramenta token “15 e 35”. Esta situa¸cãoleva, posterior- StanfordNLP é aquela que apresenta maiores mente, a uma incorreta classifica¸cão,neste caso valores na previsão de verbos no conjuntivo atribuindo a classe Interjei¸cão. e no condicional. O FreeLing apresenta melhor desempenho na classifica¸cãode adjetivos e conjun¸cõessubordinativas. O LinguaKit ultra- 5. Reconhecimento de Entidades passa Freeling na previsãode nomes próprios,al- can¸cando97% de F1-measure. Por fim, o Tree- Nesta subseçcãoserãoapresentados os resultados Tagger destaca-se na previsãode advérbios(de e conclusõessobre o desempenho das ferramentas notar que nesta ferramenta o condicional nãoé na tarefa de REM. considerado modo mas sim um tempo verbal do modo indicativo). Existem ainda algumas particularidades das ferramentas, que merecem ser discutidas. Por 5.1. Sobre os modelos-SIGARRA exemplo, como dito anteriormente, o FreeLing e o LinguaKit reconhecem nomes compostos como No que diz respeito ao NLTK, tal como pre- um único token (por exemplo, “Eduardo Ca- viamente indicado, estudaram-se trêsmodelos- SIGARRA, pré-treinadosno corpus SIGARRA brita” é tratado como um token único“Edu- ´ ardo Cabrita”). Esta particularidade auxilia a NEWS: modelo baseado em Arvores de Decisão, classifica¸cãode nomes próprioscompostos, evi- no Na¨ıve Bayes e na Máxima Entropia. Os tando assim que preposi¸cõese nomes próprios modelos avaliados associados ao OpenNLP e sejam incorretamente classificados, o que écons- StanfordNLP sãotambémos referidos modelos- tante nas outras ferramentas. Desta forma, es- SIGARRA, treinados no mesmo corpus, mas com tas duas ferramentas obtiveram o melhor desem- estas ferramentas. penho na previsãode nomes próprios. Infeliz- mente estas ferramentas nãoclassificam corretamente verbos auxiliares (VA). Neste aspecto, 5.2. Resultados Globais a melhor ferramenta é o SpaCy (84%), apesar de o StanfordNLP tambémconseguir iden- A Tabela8 mostra os resultados globais dos di- tificar verbos auxiliares (73%). O FreeLing e ferentes modelos, tendo em conta a Micro- e a LinguaKit têmtambémoutras caracter´ısticas a Macro-Médiarelativas àmedida F1. O Fre- que as tornam interessantes: palavras relaciona- eling e o LinguaKit são os melhores sistemas das com datas sãounidas e consideradas como quanto àMicro-Médiae o StanfordNLP quanto um sótoken, àsemelhan¸cados nomes próprios, àMacro-Média.De notar que, sendo os modelos como “Novembro de 2018”, que étratado como do NLTK, StanfordNLP e OpenNLP, modelos- “Novembro de 2018”. Para a ferramenta Fre- SIGARRA, háuma diferen¸casubstancial de valo- eLing, o critério de atribui¸cão desta classe é, res quanto àMacro-Média(o modelo Na¨ıve Bayes contudo, pouco claro, por nãohaver uma des- com 0.18 e o StanfordNLP 0.78), assunto que se discutirámais àfrente. 62– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro

Ferramenta Micro-MédiaF1 Macro-Média F1 NLTK (Arvore´ de Decisão) 0.97 0.47 NLTK (Na¨ıve Bayes) 0.92 0.18 NLTK (MáximaEntropia) 0.97 0.35 Polyglot 0.98 0.76 FreeLing 0.99 0.77 LinguaKit 0.99 0.69 StanfordNLP 0.98 0.78 OpenNLP 0.97 0.46

Tabela 8: Micro- e Macro-M´ediarelativos a F1 para os diferentes modelos.

5.3. Resultados por Tipo de Entidade Outra caracter´ısticaque se real¸cacorresponde à sua capacidade para identificar entidades nome- A Tabela9 apresenta a compara¸cãoentre os va- adas estrangeiras como “Sujoy Ghosh”, “Eins- lores de F1-measure de cada classe e para cada tein” e “Xuekun Fang”. Em contrapartida, ferramenta na tarefa de REM. O StanfordNLP é verificou-se que a ferramenta FreeLing consi- a ferramenta com bons (ou os melhores) em pra- derou incorretamente alguns tokens presentes ticamente todas as classes, àexce¸cãodas classes no in´ıcio das frases como entidades, talvez por Localiza¸cãoe Organiza¸cão,nas quais éa ferra- come¸caremcom letra maiúscula. Segue-se um menta FreeLing que se destaca. exemplo desse caso: “Contactada pela Lusa. . . ”. Em compara¸cãoao FreeLing, o LinguaKit apresenta piores resultados, principalmente na clas- 5.4. Discussão sifica¸cãode localiza¸cõese organiza¸cões. Estes Como dito anteriormente, háuma grande dife- sãoalguns exemplos de entidades classificadas er- ren¸cade valores quanto àMicro- e Macro-Média roneamente: “ANA”(Organiza¸cão)e “América em alguns modelos. Na verdade, os resultados do Sul”(Localiza¸cão)foram considerados como ´ apresentados mostram quãoenganadora pode ser “Pessoa”, “Xuekun Fang” (Pessoa) e “Asia do a Micro-Média(F1). Esta medida tem em conta Sul” (Localiza¸cão)como “Outros”. a soma de todos os Verdadeiros/Falsos Positi- A análiseda classifica¸cãodo Polyglot revelou vos/Negativos de todas as classes, sendo calcu- que esta considera nacionalidades tais como “me- lada posteriormente a Precisãoe a Cobertura, e, xicanos”, “dinamarquesa” e “americanos” sem- finalmente, a F1. Ora, todos os casos que não pre como Localiza¸cão. No entanto, esta ferra- sãoconsiderados como entidades mencionadas e menta consegue identificar entidades nomeadas nãosãode facto entidades mencionadas (isto é,o estrangeiras como “Einstein”, “Kaiserslautern” grosso das palavras, pois a maioria das palavras e “Sujoy Ghosh” e algumas entidades nomea- de um texto nãosãoentidades mencionadas) con- das compostas como “Estados Unidos”, “Univer- tam como Verdadeiros Positivos, indicando que sidade de Aveiro” e “Physical Review”. Jáo esta métricanãoénada informativa neste cenário OpenNLP tem dificuldades a identificar enti- em que as classes nãosãobalanceadas. dades nomeadas estrangeiras, como por exem- Por outro lado, e como referido, os algoritmos plo, “Netflix”, “Maximilian Gunther”, “Eins- usados têmum papel extremamente relevante na tein”; por outro lado, nãoétotalmente capaz tarefa de NER. Os resultados dos diferentes algo- de classificar nomes compostos. Por exemplo, ritmos na base dos modelos-SIGARRA treinados “Associa¸cãode Prote¸cãoe Socorro” e “Universi- com o NLTK ilustram bem essa situa¸cão. dade de Londres” sãocorretamente identificadas. Contudo, outras entidades como “Universidade E´ tambéminteressante verificar como a esda Califórnia”,“Diáriode Not´ıcias”, “Estados tratégiade segmenta¸cãousada pelas ferramentas Unidos” e “Eduardo Cabrita” jánãoo são.Ou- pode fazer a diferen¸ca. No caso do FreeLing e tra conclusãoretirada éque nãoidentifica siglas do LinguaKit, a divisãoem tokens destas ferra- como “EUA”, “MIT”, “PSML”, “EHT”, etc. mentas foi um alicerce na classifica¸cãocorreta de entidades nomeadas, pelo simples facto de preser- O StanfordNLP, por seu turno, consegue iden- var nomes compostos, tornando poss´ıvel a identificar entidades nomeadas noutras l´ınguas, in- tifica¸cãode entidades compostas como , “Esta- cluindo siglas. No entanto, verificou-se que, dos Unidos da América”e “Diáriode Not´ıcias”. quando uma sigla estáentre parênteses, a fer- Avalia¸cãode recursos computacionais para o português Linguamatica´ – 63

NLTK Classes FreeLing LinguaKit Polyglot AD NB EM OpenNLP StanfordNLP Data – – – 0.78 0.11 0.74 0.76 0.92 Localizacao 0.92 0.82 0.73 0.51 0.06 0.17 0.00 0.34 Organizacao 0.84 0.63 0.61 0.62 0.34 0.58 0.70 0.75 Pessoa 0.67 0.63 0.70 0.42 0.00 0.35 0.32 0.88

Tabela 9: Valores de F1 de cada ferramenta, tendo em conta as entidades nomeadas da cole¸cão dourada. ramenta identifica os parênteses como fazendo deslocado para o in´ıcio de frase (v.g. Em um parte da entidade nomeada. Por exemplo, dada a comunicado enviado a as reda¸cões ,) apresenta a sigla MIT neste formato “(MIT)”, alémde MIT dependência punct ligando o partic´ıpio enviado à ser considerada como Organiza¸cão,o parêntese v´ırgula;este partic´ıpiodepende de/modifica (de- “( )” tambémo é.De entre as ferramentas anali- pendência acl, adjectival clause, clausal modifier sadas para esta tarefa, o StanfordNLP apresenta of noun) o nome comunicado, que éa cabe¸caou um melhor desempenho em praticamente todas núcleodeste constituinte, pelo que todos os ou- as classes, àexcep¸cãoda classe Localiza¸cãoe Or- tros elementos flecham direta ou indiretamente ganiza¸cão,onde o vencedor éo FreeLing, como sobre este nome. Por sua vez, este nome de- anteriormente referido. pende (obl; complemento obl´ıquo)do verbo principal da ora¸cãoseguinte (fazia). Ora, se a fun¸cão da v´ırgulaneste exemplo éassinalar a desloca¸cão 6. Análisede Dependências (anteposi¸cão)do adjunto complemento de fazer, a partir da sua posi¸cãobásica,para o in´ıcioda Nesta seçcão,apresentamos o estudo qualitativo frase; esta forma de representa¸cão,nãodáconta relativo àtarefa de AD. Váriosparâmetrossão de forma clara da fun¸cãosintáticaque a v´ırgula analisados: pontua¸cão, segmenta¸cão, etiqueta- exerce, jáque nãofaz depender a v´ırgula do gem morfossintáticae dependências. Como dito núcleosintáticodo complemento (comunicado), anteriormente, este trabalho foi executado sem mas sim de um dos seus modificadores (enviado). conhecimento dos sistemas que produziram as anota¸cões. Assim, doravante, o Sistema A corresponde ao SpaCy e Sistema B ao StanfordNLP.

6.1. Pontua¸c˜ao

Os dois sistemas adotam diferentes estratégias Figura 1: “Num comunicado enviado àsre- de segmenta¸cãorelativamente aos sinais de pon- daçcões,. . . ”, Sistema B (Frase 1). tua¸cãoe àsua análise. No Sistema A, os sinais de pontua¸cão (v´ırgulas, aspas e pontos finais) aparecem liga- Mais adiante, e ainda no Sistema B e na dos ao token anterior, e.g. (Frase 1) redaçcões, ; mesma frase, duas v´ırgulasdelimitam a ora¸cão públicas, ; pol´ıtico,“ ; anos”. (negritos nossos), subordinada concessiva ( , mesmo que estas e nãoparecem receber qualquer análise,nãoha- nada tivessem a ver com. . . ,) e encontram-se (e vendo nenhuma dependênciaassociada. Note-se, bem!) “emparelhadas”, estando ambas depen- alémdisso, que as aspas junto a pol´ıtico empare- dentes do verbo finito desta ora¸cão(tivessem). lham com as aspas ligadas a anos, mas este em- O mesmo sucede (Figura2), no complemento parelhamento nãoparece ser feito pelo sistema. adjunto (. . . pol´ıtico ,“ ultrapassa largamente , Por outro lado, no Sistema B, os sinais de pon- no seu âmbitoe consequências ,), tambémdeli- tua¸cãosãotratados como tokens independentes mitado por v´ırgulas, e que sãoemparelhadas e e sobre eles recai (sobretudo) uma dependência postas na dependênciado verbo anterior (ultra- espec´ıfica: punct. No entanto, nãoéevidente o passa). Contudo, no caso das aspas, as primei- significado que a dependênciaexprime, quando ras (de abertura), estas sãofeitas depender do se considera o elemento que opera sobre o sinal verbo ultrapassa que estáàsua direita e (estra- de pontua¸cão,a sua fun¸cãona frase ou outros nhamente) com a dependência nsubj, que corres- sinais com que se encontra articulado. Assim, ponde àfun¸cãode sujeito; enquanto as segundas por exemplo, na Frase 1 (Figura1), o adjunto (de fecho), sãocolocadas na dependênciade anos 64– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro

(no fim da frase, fora da Figura2), mas agora conjun¸cãocomposta mesmo que. As restantes com a etiqueta amod, que corresponde àfun¸cão locu¸cõesdesta frase também nãosãoidentifica- de modificador (adjetival) de nome. das por este sistema. Na frase 2, a locu¸cãocon- juncional assim como/conj tambémnãofoi re- conhecida pelos sistemas. As restantes frases não apresentam expressõesmultipalavras, exceto, talvez, o composto quarto de hotel, na frase 3, que nenhum dos sistemas analisa como um único token. Alguns problemas de etiquetagem morfos- sintáticapodem ainda ser observados na sa´ıda Figura 2: “ “ ultrapassa largamente , em o seu do Sistema A e parecem dif´ıceisde explicar. Na âmbito e consequências , ”, Sistema B (Frase 1). frase 2, o nome membros émarcado como propn (nome próprio); tambémo elemento como (da locu¸cão assim como) écuriosamente etiquetado E,´ assim, óbvia a inconsistência da anota¸cão como noun. O nome anos, no fim da frase 1 e o das dependênciassobre os sinais de pontua¸cão, o adjetivo-nome familiares, na frase 2, a que se quer pelo uso de etiquetas que nãopodem ser encontram ligados um ponto final e uma v´ırgula, aplicadas a este tipo de tokens (nsubj e amod), respetivamente, aparecem etiquetados como sym quer pelos elementos textuais de que se faz de- (symbol), talvez pelo facto de os sinais de pon- pender os sinais de pontua¸cão,quer ainda pelo tua¸cão não terem sido tratados como tokens. incorreto emparelhamento de sinais que funcio- Contudo, tal sóocorre nestes dois nomes, ha- nam em conjunto (aspas e v´ırgulas). vendo váriasoutras situa¸cões idênticas, com estes sinais de pontua¸cão,em que tal nãosucede. 6.2. Segmenta¸cão e etiquetagem morfos- sintática 6.3. Dependências Ambos os sistemas apresentam diversos problemas de segmenta¸cãode texto (delimita¸cãode Os sistemas apresentam análisesmuito semelhan- tokens) e de marca¸cão de categorias morfos- tes, pelo que analisaremos os problemas com base sintáticas.Váriasunidades lexicais multipalavras na sa´ıdado Sistema A, indicando as diferen¸cas (ou palavras compostas/locu¸cões)sãoanalisadas mais relevantes. Nesta forma representa¸cão,as como tokens distintos. No Sistema A, por exem- dependências são marcadas sobre os arcos do plo, encontramos primeiro-/adj e ministro/noun grafo de dependênciase estabelecem-se sempre e nãoo nome composto primeiro-ministro/noun; entre palavras/tokens, isto é, entre os elemen- mesmo/adv e que/conj e nãoa locu¸cãoconjun- tos que sãonúcleos(cabe¸ca) dos constituintes tiva (ou conjun¸cãocomposta mesmo que/conj; sintáticose os elementos que deles dependem, cargo/noun e pol´ıtico/adj e não o composto e.g. a prática: a (def) prática. Os consti- cargo pol´ıtico/noun; e a sequência a/prep o/art tuintes da frase (e.g.← grupos nominais, preposi- longo/adj de/prep não é tratado como uma cionais, etc.) nãosãodiretamente delimitados, locu¸cãopreposicional (ou preposi¸cãocomposta), mas podem ser deduzidos a partir do grafo de ao longo de/prep. Refira-se, ainda, a misteriosa dependências,jáque todos os elementos se ligam etiqueta x (Figura3) atribu´ıdaao pronome da direta ou indiretamente ao seu núcleo. Repare- (assim chamada) ora¸cãorelativa sem antecedente se que se adota uma representa¸cão top-down da (Veloso(2013)), v.g. o/X que tem sido. dependência,em que um elemento hierarquica- mente superior (governor) flecha sobre o elemento diretamente abaixo (dependent), independentemente da sua disposi¸cão linear na frase, e.g. enviado àsredaçcões: enviado (obl) re- dacçcões, redaçcões (det) as. → → Figura 3: Etiqueta x, Sistema A Para maior facilidade de compara¸cão, em (Frase 1). ambas as sa´ıdas, foram utilizadas as járeferi- das dependênciasuniversais (de Marneffe et al., 2014), em cuja descri¸cãonos baseámospara a Jáo Sistema B trata como um sótoken o análisedestas sa´ıdas. Assim na Frase 1 (Fi- composto primeiro-ministro e liga por uma de- gura1), o complemento indireto (dativo) às pendência fixed o elemento mesmo a que na reda¸cões encontra-se (corretamente!) ligado ao Avalia¸cãode recursos computacionais para o português Linguamatica´ – 65

Outro aspeto interessante é a análise da ora¸cãorelativa sem antecedente, introduzida por o (marcado em A com a categoria x). Este elemento étratado como determinante do pronome que (nãose indica a subclasse de pronome, nomeadamente, se érelativo ou de outro sub- Figura 4: “Num comunicado. . . ”, Sistema A tipo). Esta análisepoderia ser considerada cor- reta no caso das verdadeiras relativas sem antecedente, resultantes da redu¸cãode um nome eli- partic´ıpio enviado, mas pela dependência obl dido que fosse cabe¸cadesse constituinte e ante- (oblique, obl´ıquo) e não,como se esperaria, por cendente do pronome relativo (e.g. Havia vários iobj (indirect object). livros. Comprei o [livro] que tinha capa azul). O determinante poderia, nesse caso variar em Ambos os sistemas fazem depender o com- géneroe númeroconsoante o nome que determina plemento preposicional Em comunicado enviado (e.g.Havia váriascamisas. Comprei as [cami- àsredaçcões, deslocado para o in´ıcio da frase, sas] que nãotinham colarinho). Ora, neste caso, do verbo fazia por meio da dependência obl. trata-se de uma constru¸cãodiferente, em que o Contudo, o sistema A extrai tambémuma de- éinvariável (*as que têmsido prática corrente), pendência appos, que consideramos espúria,en- e cuja análisepode ser aproximada do pronome tre comunicado e gabinete. Tal pode dever-se ao relativo o qual. facto de primeiro-ministro nãoter sido tratado como um único token. Efetivamente, o Sistema Um outro problema detetado, envolvendo B reconhece o composto e analisa-o corretamente tambémdeterminantes, éa dependência det en- como complemento de nome (nmod) de gabinete, tre nada e estas (v.g. mesmo que estas nada enquanto o Sistema A apenas estabelece essa de- tivessem a ver com), o que faz considerar que pendênciacom o elemento primeiro. Por essa as duas palavras foram analisadas como um só razãotambém,o sujeito (nsubj) de fazia, no sis- constituinte. Trata-se aqui do chamado “em- tema B, é(corretamente) gabinete, ao passo que prego pronominal” de estas (= estas entidades no Sistema A, que nãoconsidera o composto, o públicas) e nãodo “emprego determinativo”, que sujeito deste verbo é ministro. forma um constituinte autónomo,sujeito de tivessem; e do pronome indefinido nada que é Outro aspeto relacionado com a incorreta seg- aqui complemento deste verbo. Provavelmente, menta¸cãoéo facto de a preposi¸cãocomposta por essa razão,a dependênciade sujeito (nsubj) ao longo de, que forma a expressãotemporal ao estabelece-se entre nada e o verbo, apesar de a longo dos anos, nãoter sido identificada, pelo que flexãodeste últimonãoautorizar essa rela¸cão, o seu elemento longo/noun éanalisado, por am- jáque viola a concordânciagramatical sujeito- bos os sistemas, como um mero complemento de verbo. nome (ncomp) de prática. O facto de, aparentemente, nãose ter tratado a expressãocomo uma Um dos problemas mais dif´ıceis de tratar é entidade mencionada de tempo (Hagègeet al., a imbrica¸cão de elementos coordenados. Na 2010) leva a supor que, se este nome nãoestivesse formaliza¸cão em grafo aqui adotada, a de- constru´ıdocom um verbo copulativo (sido), a ex- pendência conj liga os elementos coordenados, pressãotemporal iria ficar a depender de qual- sendo sempre orientada da esquerda para a di- quer constituinte anterior e nãodo verbo (pleno) reita, enquanto uma dependência cc liga o se- de tal frase. gundo membro da coordena¸cãoàconjun¸cãoco- ordenativa, sendo igualmente sempre orientada, Ainda neste sentido, repare-se que a locu¸cão mas da direita para a esquerda. Podemos ver tivessem a ver (praticamente sinónimade estar um caso complexo deste problema na Frase 2, relacionado com) nãodeveráter sido reconhe- cuja hierarquia representamos por parênteses nu- cida por nenhum dos sistemas, que a analisam merados: (. . . ) incluindo [ [ dificuldades de como uma mera constru¸cãode auxiliar (Bap- 1 2 [ concentra¸cão] e [ memória] ] ,[ tonturas] ] tista et al., 2010), a qual, aliás,aparentemente 3 3 4 4 2 5 5 e [ problemas [ visuais] e [ de equil´ıbrio] ] ] . sóexiste em portuguêscom um valor modal: “Só 6 7 7 8 8 6 1 Esta estrutura leva a considerar os seguin- tenho a/posso/devo dizer que. . . ”, e que, clara- tes pares de elementos coordenados (cuja nu- mente nãoéa constru¸cãoaqui empregue. Vemos, mera¸cãomantemos, para maior clareza): concen- assim, a importânciado reconhecimento das extra¸cão (conj) memória , visuais (conj) pressõesmultipalavra e do impacto que têmna 3 4 3 de equil´ıbrio ; e→ a tripla coordena¸cão,assinalada→ análisesintática (dependências)das frases. 4 com uma v´ırgulae a conjun¸cão e, que se repre- 66– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro

Figura 5: “. . . incluindo dificuldades. . . ” senta por duas dependênciascom foco no pri- 6.4. Discussão meiro elemento: dificuldades2 (conj) tonturas5 e dificuldades (conj) problemas .→ Em jeito de s´ıntese, époss´ıvel dizer que: (i) os 2 → 6 Ora, os sistemas apresentam uma sa´ıdaigual problemas de segmenta¸cão e de etiquetagem (Figura5), onde apenas o primeiro par écorre- morfossintáticaestãona origem nãosódas di- tamente capturado. A Frase 3 apresenta um pro- feren¸cas entre os sistemas comparados, mas blema similar. Aparentemente, o facto de ape- tambémdos principais erros de análisesintática nas um dos sistemas tratar explicitamente a pon- (dependências) encontrados. (ii) Neste sen- tua¸cão(neste caso, a v´ırgula) nãoparece fazer tido, reveste-se de especial importânciaa iden- diferen¸ca nos resultados. tifica¸cãodas unidades lexicais compostas e ex- pressõesmultipalavras, praticamente ignoradas Noutras situa¸cões,os erros parecem resultar por um dos sistemas e muito incompleta no ou- de dificuldades de análisede dependênciaa longa tro. (iii) Nos restantes casos, os sistemas têm distânciaentre os elementos relacionados. Assim, um comportamento muito semelhante ou mesmo na ora¸cãorelativa explicativa da Frase 3 (Figura idêntico. (iv) A pontua¸cãoéum elemento funda- 6), v.g. sons (. . . ), que os pacientes reportam ter mental na análisesintática,mas um dos sistemas ouvido, o pronome relativo que, referente a sons, aparentemente ignora-a, enquanto o outro parece deveria ter sido analisado como complemento di- nãoa usar, do que resultam diversos erros. reto (obj) de ouvido e nãode reportam. Entre os diversos problemas de análise Ao seguir a defini¸cão e exemplos das de- sintáticadetetados, salientamos (v) o tratamento pendênciasuniversais (de Marneffe et al., 2014), da coordena¸cãoe da imbrica¸cãode elementos co- a descri¸cãodos advérbiosparece particularmente ordenados, bem como (vi) a ausênciade distin¸cão problemática,jáque ignora distin¸cõessubstan- entre fun¸cõessintáticasmuito diferentes, desem- ciais, algumas bem conhecidas pelas gramáticas penhadas por váriostipos sintático-semânticos de mais tradicionais (para uma s´ıntese moderna, advérbios,e todas colapsadas sob a mesma de- v. (Molinier & Levrier, 2000)). Assim, nãose pendência“universal”. Trata-se de fenómenos distinguem: (i) o valor determinativo de nem lingu´ısticos bem conhecidos, por vezes comple- no grupo nominal nem o seu marido (frase 4); xos e dificilmente tratáveis, mas que o desenvol- (ii) o advérbio (de quantifica¸cão) largamente, vimento de sistemas de processamento computa- que funciona como mero modificador verbal de cional de portuguêsteráenfrentar. O levanta- ultrapassa, em ultrapassa largamente (frase 4); mento destas e de outras situa¸cõesproblemáticas e o advérbio conjuntivo (com valor adversa- éfundamental para construir um roadmap dos tivo) porém (frase 4), que deve ser considerado desafios a vencer. como modificador de toda a frase, ligando-a à frase anterior. Ainda que os argumentos da de- pendênciapossam ser considerados corretos, to- 7. Conclusõese Trabalho Futuro dos estes advérbiossãorepresentados pela mesma dependência(advmod), sem os diferenciar. Por Neste trabalho fizemos a avalia¸cãode váriasfer- outro lado, nenhum dos sistemas reconhece o va- ramentas (a maioria através de modelos pré- lor adverbial da expressãotemporal uma tarde treinados) para as tarefas de EMS e REM, para (frase 5), o que dáorigem a um conjunto de de- a l´ınguaportuguesa. Apresentámosainda um es- pendênciasincorretas. tudo qualitativo sobre duas ferramentas que re- Avalia¸cãode recursos computacionais para o português Linguamatica´ – 67

Figura 6: “sons . . . que os pacientes reportam ter ouvido. . . ” alizam a tarefa de AD. Nãoháuma ferramenta Referências claramente vencedora, pois, dependendo das necessidades de cada um, uma ferramenta pode ser Al-Rfou, Rami. 2015. Polyglot: A massive mul- mais ou menos apropriada, de acordo com vários tilingual natural language processing pipeline: factores. Fica, no entanto, claro, que, para além State University of New York at Stony Brook. da utiliza¸cãode coleçcõesde etiquetas variadas, Tese de Doutoramento. háuma grande diferen¸ca entre as ferramentas se considerarmos o modo como a segmenta¸cãoé Apache Software Foundation. 2014. OpenNLP feita. Por outro lado, háferramentas que são natural language processing library. http:// mais finas em algumas classes de etiquetas, o opennlp.apache.org/. que torna mais dif´ıcila obten¸cãode bons resul- Baptista, Jorge, Nuno Mamede & Fernando tados. No entanto, mais uma vez, dependendo Gomes. 2010. Auxiliary verbs and ver- das necessidades dos seus utilizadores, pode fa- bal chains in European Portuguese. Em zer sentido ou nãousar essas etiquetas mais finas Computational Processing of the Por- em detrimento de melhores resultados. De notar tuguese Language (PROPOR), 110–119. tambémque as decisõestomadas a n´ıvel da seg- 10.1007/978-3-642-12320-7_14. menta¸cão,bem como os resultados atingidos em termos de EMS (e REM), vãoafectar a AD. To- Bird, Steven, Ewan Klein & Edward Loper. dos os corpora usados, bem como o mapeamento 2009. Natural language processing with Python. de etiquetas, serãotornados públicos42, permi- O’Reilly Media, Inc. tindo a replica¸cãodas experiênciase facilitando Buchholz, Sabine & Erwin Marsi. 2006. CoNLL- futuras avalia¸cões na mesma linha. Como tra- X shared task on multilingual dependency par- balho futuro, o LinguaKit (Gamallo & Garcia, sing. Em Conference on Computational Natu- 2017b; Gamallo et al., 2018) deveráser avaliado ral Language Learning, 149–164. na tarefa de AD. Por outro lado, podem também ser explorados mais modelos, por exemplo, com Collovini, Sandra, Joaquim Francisco Santos o NLTK. Uma outra experiênciaa realizar, se- Neto, Bernardo Scapini Consoli, Juliano Terra, ria usar o mesmo corpus de treino para treinar Renata Vieira, Paulo Quaresma, Marlo Souza, váriosmodelos de maneira a poder comparar di- Daniela Barreiro Claro & Rafael Glauber. retamente e apenas os diferentes algoritmos. 2019. IberLEF 2019 Portuguese named entity recognition and relation extraction tasks. Em Proceedings of the Iberian Languages Evalua- tion Forum (IberLEF), 390–410. Agradecimentos Ferreira, João, Hugo Gon¸calo Oliveira & Ricardo Rodrigues. 2019a. Improving Este trabalho foi parcialmente suportado pela NLTK for processing Portuguese. Em Funda¸cãopara a Ciênciae a Tecnologia através Symposium on Languages, Applications dos projectos UIDB/50021/2020 e PTDC/LLT- and Technologies (SLATE), 18:1–18:9. LIN/29887/2017, financiando este últimoa bolsa 10.4230/OASIcs.SLATE.2019.18. de Matilde Gon¸calves. Ferreira, João,Hugo Gon¸caloOliveira & Ricardo Rodrigues. 2019b. NLPyPort: Named entity 42https://gitlab.hlt.inesc-id.pt/lcoheur/ptools recognition with CRF and rule-based relation 68– Linguamatica´ Matilde Gon¸calves, Lu´ısa Coheur, Jorge Baptista & Ana Mineiro

extraction. Em Iberian Languages Evaluation labeling sequence data. Em International Con- Forum (IberLEF), 468–477. ference on Machine Learning, 282–289. Fonseca, Erick, Leandro Borges dos Santos, Mar- de Marneffe, Marie-Catherine, Timothy Dozat, celo Criscuolo & Sandra Alu´ısio.2016. Visão Natalia Silveira, Katri Haverinen, Filip Gin- geral da avalia¸cãode similaridade semântica e ter, Joakim Nivre & Christopher D. Manning. inferênciatextual. Linguamática 8(2). 3–13. 2014. Universal stanford dependencies: A cross-linguistic typology. Em Conference on Fonseca, Erick Rocha & JoãoLu´ısG. Rosa. 2013. Language Resources and Evaluation (LREC), Mac-Morpho revisited: Towards robust part- 4585–4592. of-speech tagging. Em Brazilian Symposium in Information and Human Language Technology Màrquez, Llu´ıs & Horacio Rodr´ıguez. 1998. (STIL), s/pp. Part-of-speech tagging using decision trees. Em Machine Learning, 25–36. Gamallo, P., M. Garcia, C. Piñeiro,R. Martinez- 10.1007/BFb0026668. Castaño& J. C. Pichel. 2018. LinguaKit: A big data-based multilingual tool for linguis- Molinier, Christian & Fran¸coise Levrier. 2000. tic analysis and information extraction. Em Grammaire des adverbes: description des for- Conference on Social Networks Analysis, Ma- mes en -ment. Genève: Droz. nagement and Security (SNAMS), 239–244. Padró,Llu´ıs.2012. Analizadores multilingüesen 10.1109/SNAMS.2018.8554689. FreeLing. Linguamática 3(2). 13–20. Gamallo, Pablo & Marcos Garcia. 2013. Free- Pires, AndréRicardo Oliveira. 2017. Named En- ling e treetagger: um estudo comparativo no tity Extraction from Portuguese web text: Fa- âmbito do Português. Relatóriotécnico.Uni- culty of Engineering of University of Porto. versidade de Santiago de Compostela. Tese de Mestrado. Gamallo, Pablo & Marcos Garcia. 2017a. Lingua- Qi, Peng, Timothy Dozat, Yuhao Zhang & Ch- kit: A multilingual tool for linguistic analysis ristopher D. Manning. 2018. Universal de- and information extraction. Linguamática 9. pendency parsing from scratch. Em CoNLL 19–28. 10.21814/lm.9.1.243. Shared Task: Multilingual Parsing from Raw Text to Universal DependenciesCoNLL Shared Gamallo, Pablo & Marcos Garcia. 2017b. Task, 160–170. 10.18653/v1/K18-2016. LinguaKit: uma ferramenta multilingue para a análise lingu´ıstica e a extra¸cão Rodrigues, Ricardo, Hugo Gon¸calo Oli- de informa¸cão. Linguamática 9(1). 19–28. veira & Paulo Gomes. 2018. NLPPort: 10.21814/lm.9.1.243. A pipeline for Portuguese NLP. Em Symposium on Languages, Applications Garcia, Marcos & Pablo Gamallo. 2015. Yet and Technologies (SLATE), 18:1–18:9. another suite of multilingual NLP tools. Em 10.4230/OASIcs.SLATE.2018.18. Languages, Applications and Technologies, 65– 75. 10.1007/978-3-319-27653-3_7. Santos, Diana & Nuno Cardoso. 2007. Balan¸co do primeiro HAREM e perspectivas de traba- Hagège,Caroline, Jorge Baptista & Nuno Ma- lho futuro. Em Reconhecimento de entidades mede. 2010. Caracteriza¸cãoe processamento mencionadas em português: Documenta¸cãoe de expressõestemporais em português. Lin- actas do HAREM, a primeira avalia¸cãocon- guamática 2(1). 63–76. junta na área, 87–94. Linguateca. Honnibal, Matthew, Ines Montani, Sofie Santos, Diana, Lu´ısCosta & Paulo Rocha. 2003. Van Landeghem & Adriane Boyd. 2020. Cooperatively evaluating portuguese morpho- spaCy: Natural language understanding logy. Em Computational Processing of the with bloom embeddings, convolutional Portuguese Language (PROPOR), 259–266. neural networks and incremental parsing. 10.1007/3-540-45011-4_40. 10.5281/zenodo.1212303. Santos, Diana, Hugo Gon¸caloOliveira, Cláudia Jurafsky, Dan & James H. Martin. 2019. Spe- Freitas, Cristina Mota & Paula Carvalho. 2008. ech and language processing : an introduction Segundo HAREM: Balan¸coe perspectivas de to natural language processing, computational futuro. Apresenta¸cãono Encontro do Segundo linguistics, and speech recognition. Pearson. HAREM. Lafferty, John D., Andrew McCallum & Fer- Veloso, Rita. 2013. Gramática do Português, nando C. N. Pereira. 2001. Conditional random vol. 2 chap. Subordina¸cãorelativa, 2061–2134. fields: Probabilistic models for segmenting and Funda¸cãoCalouste Gulbenkian. Projetos, Apresentam-se!

Proposta recibida en xullo 2020 e aceptada para publicaci´onen decembro 2020.

Aplicación de WordNet e de word embeddings no desenvolvemento de prototipos para a xeraciónautomáticada lingua Application of WordNet and word embeddings in the development of prototypes for automatic language generation

Mar´ıaJos´eDom´ınguezV´azquez Universidade de Santiago de Compostela-ILG [email protected]

Resumo de intercambio.1 Nesta liña,resulta especialmente relevante o deseñode léxicos computacionais Esta presentaciónde dous prototipos de xeración — lexibles por máquinase dotados de informa- automáticade lingua natural achega unha visiónde ciónsemántica —, que faciliten a desambiguación conxunto da metodolox´ıaaplicada na descricióne pro- dos diferentes significados (Agirre & Edmonds, cesamento dos datos lingü´ısticos,as´ıcomo das técni- 2006). As investigaciónslexicográficas poden im- cas e ferramentas xa existentes ou desenvolvidas co pulsar significativamente esta tarefa, se entende- fin de garantir o funcionamento dos simuladores en mos que “[b]y far the best existing semantic des- alemán,españole francés. criptions of language are dictionaries [...]” (Trap- Palabras chave Jensen, 2018, p.34). Nesta dobre aproximación — a lexicográficae computacional — enmárcan- Gramáticade valencias, Patrónsargumentais, Proce- se os prototipos de xeraciónautomáticade frases samento da linguaxe natural (PLN) e Xeraciónda lin- nominais en contexto para o español,francése guaxe natural (XLN), WordNet, word embeddings alemán, Xera e Combinatoria (vid. 2.2).2 Estes xeradores nacen ligados ao dicionario online multilingüe PORTLEX3 , un recurso va- Abstract lencial, semicolaborativo, modular, multilingüe e cross-lingual sobre o potencial combinatorio This presentation of two prototypes of automatic da frase nominal en 5 linguas (Dom´ınguez & natural language generation provides an overview of Valcárcel, 2020). As principais dificultades no seu the methodology applied in the description and pro- desenvolvemento non so atinxen ánotable inver- cessing of linguistic data, as well as of the techniques siónde tempo na análisee compilaciónde to- and tools already existing or developed in order to dos e cada uns dos esquemas argumentais as´ıco- guarantee the functioning of the simulators in Ger- mo do seu potencial combinatorio (Dom´ınguez& man, Spanish and French. Valcárcel, 2020), senóntaménáslimitaciónsob- Keywords servadas no uso de córpora:4 Valency Grammar, Argument patterns, Natural Lan- Na extraccióndos datos tirados dos córpo- guage Processing (NLP) and Natural Language Ge- ra non éposible aplicar ningúnfiltro de pre- neration (NLG), WordNet, word embeddings

1A d´ıade hoxe xa existen asistentes virtuais como Siri, Alexa ou Google Home, isto é, máquinasque “falan”, pero 1. Introdución:estado do problema taméntemos máquinasque aprenden e son adestradas. 2http://portlex.usc.gal/combinatoria. Os recursos son gratuitos e de libre acceso. Para máisinformación, vid. a informaciónsobre as condiciónsde uso na anterior Un importante hándicap na intelixencia ar- ligazón. tificial é converter a información lingü´ıstico- 3http://portlex.usc.gal/portlex/ semántica en informacióncodificable e reprodu- 4Cómpredicir que os córpora ofrecen paulatinamente cible por non humanos, isto é,dotar as máqui- v´ıasmáisprecisas en prol da análisedas propiedades dis- nas de coñecemento léxico(Navigli & Ponzeto, tributivas e sintagmáticasdo léxico.Serven de exemplo Sketch Engine (https://www.sketchengine.eu/), COS- 2012) coa pretensiónde que as computadoras MAS II (https://cosmas2.ids-mannheim.de/cosmas2- interactúencoa súacontorna de modo humani- web/), CORGA (http://corpus.cirp.es/corga/) ou zado utilizando as linguas naturais como código TLFi (http://atilf.atilf.fr/). DOI: 10.21814/lm.12.2.337 Linguamatica´ — ISSN: 1647–0818 This work is Licensed under a Creative Commons Attribution 4.0 License Vol. 12 Núm. 2 2020 - Pág. 71–80 72– Linguamatica´ Mar´ıaJoséDom´ınguez Vázquez

selecciónsemántico-argumental nin un envor- versa: xerar directamente as estructuras argu- cado de datos atendendo as acepcións de mentais aplicando previamente filtros semántico- significado.5 As´ı, o lexema x no composto combinatorios (vid. 2.2), no canto de buscalas x + umzug alemánna súaacepción‘cambio nos córpora. Este é o punto de partida dos de domicilio ou lugar de traballo’ pode ex- simuladores. presar un rol semántico axente — “Aquel ou aquilo que realiza unha acción”.Non obs- tante, a listaxe de frecuencia obtida mediante 2. Os xeradores lingü´ısticos: metodo- unha busca Corpus Query Language (CQL) en lox´ıae fases Sketch Engine recolle maioritariamente exemplos de compostos doutra acepciónde signifi- 2.1. Visiónde conxunto cado, en concreto de “cabalgata” ou “desfile”.6 Xunto coa necesidade, pois, de cribar os com- E´ a partir dos anos 90 cando se intensifica a postos atendendo ao seu significado relacional, investigaciónno campo da xeraciónautomática engádesea de atopar de xeito automáticoas da lingua natural. Nun principio os xeradores non súasposibles combinatorias cos outros actan- priorizaban aspectos importantes como a integra- tes argumentais nas diferentes realizacións— bilidade, a portabilidade ou a eficiencia, nin lle combinatorias, ademais, comúnsna lingua. dedicaban especial atencióna aspectos de natu- reza máislingü´ıstica,como a coherencia semánti- Os resultados envorcados non cumpren os re- ca ou textual, factores que, xunto coa fluidez e a quisitos para a súainclusiónnun dicionario variaciónnas posibles realizacións,son elemen- de valencias ao non exemplificar complementos tos centrais na avaliacióndos xeradores de lin- argumentais. Un claro exemplo desta casu´ısti- gua natural (Hashimoto et al., 2019; Horacek & ca son as realizacións adxectivais nas dife- Zock, 2015; Jiménezet al., 2020; Vicente et al., rentes linguas contempladas no recurso. Unha 2015). Xunto con protocolos e estudos de avalia- análisesemántica dos 70 primeiros adxectivos ciónda calidade dos resultados, xa se poden xerar obtidos de Sketch Engine para o esquema ar- de xeito automáticotextos e frases con diferen- gumental ausencia + Adxectivo, permite con- tes caracter´ısticas(Vicente et al., 2015; Nallapati clu´ırque soamente unha porcentaxe moi redu- et al., 2016; Sordoni et al., 2015) — incluso case cida serve para o propósitodo noso recurso. De sen input de partida (Roemmele, 2016) —, as´ıco- entre esta listaxe sóun 4 % dos adxectivos re- mo imaxes a partir de textos e viceversa (Otter presenta un rol semántico e soamente un único et al., 2020). As aproximaciónsáxeraciónau- exemplo pode ser adxudicado ao rol axente tomáticadende ou para a aplicaciónlexicográfi- (a ausencia escolar), sendo o mesmo, porén, ca non éampla.7 Existen diferentes propostas pa- ambiguo. ra a xeraciónautomáticade dicionarios (Bardan- Xa que a frecuencia léxicano eixo sintagmáti- ca Outeiriño, 2020; Kabashi, 2018; Delli Bovi & co non estáen necesaria correlacióncoa súafun- Navigli, 2017), de artigos lexicográficos(Geyken ciónespec´ıfica ou argumental, atopar candida- et al., 2017) ou ben dalgunha das súaspartes (os tos léxicosque cubran o actante valencial que se exemplos, en Kosem et al.(2019)). Estes recur- exemplifica supóna análisemanual dun núme- sos, porén,non perseguen os mesmos obxectivos ro significativo de coocorrencias, e isto, para as que os xeradores que aqu´ıpresentamos. 5 linguas contempladas no dicionario. Consta- tadas estas dificultades, que ademais atrasaban 2.2. Os xeradores Xera e Combinatoria enormemente o traballo, decidimos proceder áin- Os dous prototipos para a xeraciónde patróns 5Recursos de diferente tipolox´ıa achegan des- cricións semántico-argumentais, en especial, pa- argumentais de frases simples (Xera) e comple- ra o inglés — Verbnet (http://verbs.colorado. xas (Combinatoria) en español,francése alemán edu/~mpalmer/projects/verbnet.html), Propbank (http://verbs.colorado.edu/~mpalmer/projects/ 7Si que se aplican diferentes ferramentas de análisee ace.html), VerbAtlas (http://verbatlas.org/), técnicas,por exemplo, FreeLing (Padró, 2012), estudos pa- CPA (http://www.pdev.org.uk/). Para outras ra a extracciónautomáticade diferentes tipos de datos linguas, como español e catalán, vid. AnCora (Gamallo & Pichel, 2007; Kilgarriff et al., 2008; Renau (http://clic.ub.edu/corpus/es/ancora). & Nazar, 2016), as´ıcomo con softwares que permiten a 6Por cuestiónde espazo amósansesoamente os 10 pri- compilaciónde dicionarios, como, por exemplo, Tshwa- meiros lemas e a súafrecuencia: Festumzug (18742), La- neLex (https://tshwanedje.com/). As´ımesmo, créanse ternenumzug (5568), Faschingsumzug (5191), Karneval- aplicaciónsde dicionarios para dispositivos móbilesa par- sumzug (4669), Martinsumzug (2838), Rosenmontagsum- tir de redes semánticas como WordNet, por exemplo o Di- zug (2441), Serverumzug (1952), Lampionumzug (1638), cionario GalNet (http://sli.uvigo.gal/digalnet/) de Fackelumzug (1626) e Fastnachtsumzug (1467). GómezGuinovart en Google Play. Aplicaciónde WordNet e de word embeddings no desenvolvemento de prototipos para a xeraciónautomática da lingua Linguamatica´ – 73

Figura 1: Metodolox´ıae recursos de xeraciónautomáticaargumental estánen funcionamento. Para o seu deseñopreci- gumentais son espec´ıficos de cada substantivo8 samos unha metodolox´ıaque nos permitise des- e que caudal léxico pode cubrir o eixo para- cribir e procesar os datos lingü´ısticoscon infor- digmáticodos devanditos actantes. Tomando co- maciónsintáctico-semántica combinatoria argu- mo referencia a estrutura argumental do diciona- mental, de tal xeito que estes se puideran progra- rio PORTLEX, analizamos os trazos ontolóxicos- mar e xerar automaticamente. Para tal fin, com- categoriais (Engel, 2004) das (co)apariciónsargu- binamos propostas teóricase metodolóxicasreco- mentais extra´ıdasseguindo criterios de frecuen- rrendo ágramáticae semántica valencial, áteor´ıa cia de Sketch Engine. Atopámonosna fase de dos prototipos léxicos,ao PLN (recuperacióne prototipado léxico:buscamos, por tanto, candi- extracción)e XLN, as´ıcomo a WordNet. Na se- datos protot´ıpicos para cubrir actantes funcio- gunda das ferramentas, aplicamos o método pre- nais concretos, isto é,exemplares léxicos,como, dictivo Word2vec (vid. 3). A Figura1 recolle a por exemplo, os lexemas suor, tabaco ou pólvo- metodolox´ıaxeral e as ferramentas que dan sus- ra no rol clasificativo de olor + A. Séguelle tento aos xeradores no proceso de xeraciónda a segunda fase de prototipado, que consiste na estrutura argumental; a Figura2 resume o pro- determinacióndas clases semánticas protot´ıpicas cedemento da contextualización,que xa se desen- dun argumento concreto. Para o caso citado, por volveu para a frase adxectival, pero estáen curso exemplo, [+Material] [+Substancia]: suor, taba- no caso da oración. co, pólvora — [+Animado] [+Planta]: flor, ro- O primeiro paso para a xeraciónautomáti- sa — [+Animado] [+Animal]: porco, can etc. ca da argumentacióne o potencial combinatorio A Figura3 amosa un exemplo. nominal consiste en establecer que actantes ar- A descricióndos trazos categoriais e o prototipado léxicoson conceptos esenciais non sódende un punto de vista puramente descritivo, senón taménporque nos permiten acometer o seguinte estadio de traballo: a expansiónléxicarecorren- do a WordNet. Esta ampliacióndo númerode candidatos léxicosatribu´ıblesa cada actante funcional conséguesemediante os trazos categoriais,

8A escolla dos 10 substantivos dos prototipos segue dous criterios centrais: (a) o seu estatus de portadores va- lenciais, isto é,a súacapacidade de abrir casillas funcio- nais e (b) a súapertenza a diferentes campos semánticos, como Locación(presenza), Expresión(pregunta, discusión Figura 2: Metodolox´ıaxeral de contextualiza- e texto), Afección(morte, aumento e dor) e Clasificación (olor e sabor). Deste xeito obtemos un amplo abanico de ción esquemas sintáctico-argumentais e combinatorias. 74– Linguamatica´ Mar´ıaJoséDom´ınguez Vázquez

selecciónde caudal léxicono eixo paradigmáti- co que comparte as caracter´ısticassemánticas do prototipo léxico-semántico que tomamos como punto de partida, isto é,que conforma unha clase semántica concreta. Por tanto, a partir dos prototipos léxicosdeterminamos clases semánticas protot´ıpicas.Unha vez obtido este caudal léxico, real´ızasea flexióne o empaquetado, no que temos en conta cuestiónsde etiquetaxe morfosintáctica e semántica. Estes repertorios léxicosatribu´ıdos Figura 3: Argumentacióne clases semánticas a cada argumento nominal son fundamentais pa- protot´ıpicas ra a xeración.

3. Ferramentas e recursos

No desenvolvemento dos xeradores operamos nas diferentes fases con (a) recursos existentes ou con ferramentas creadas ad hoc (vid. Figuras1 e5), entre as que diferenciamos (b) as que dan sustento aos xeradores, as´ıcomo (c) os xeradores en si mesmos, que envorcan os datos en formato JSON e CSV.11

(a) Recursos existentes: Cabe subliñar Figura 4: Expansiónléxicausando WordNet aqu´ı Sketch Engine, FreeLing e WordNet: i) Sketch Engine perm´ıtenos extraer, que fan de nexo de unióncoas clases e atribu- mediante consultas CQL, a frecuencia tos das categor´ıasde WordNet (vid. Figura4). de cooaparicións en diferentes estruturas Dom´ınguez et al.(2019) indican que “the syn- argumentais que tomamos do dicionario sets of the wordnets following the EuroWordNet PORTLEX; ii) para o desenvolvemento do model of the Multilingual Central Repository ( códigode flexiónpartimos dos dicionarios do MCR) (...) are associated with semantic or cogni- etiquetador FreeLing. Xa que na extracción tive features categorized in different ontologies”.9 léxicaa partir de WordNet taménse obteñen A´ındaque esta organizacióncognitiva das on- formas compostas — sendo estas unha po- tolox´ıas de WordNet non coincide exactamente sible realización argumental — recorremos co inventario categorial da lexicograf´ıavalencial, tamén a este recurso para obter a división taménse constata que os trazos categoriais de en lemas. iii) A rede semántica WordNet tipo xeral si que conforman clases xerais nas on- (GómezGuinovart & Solla, 2018) posibilita a tolox´ıasdo MCR. Por tanto, mediante este pro- obtencióndo caudal léxicoatendendo a clases cedemento de expansiónléxica10, e posterior de- ontolóxico-categoriais(vid. b). puracióne etiquetaxe seguindo unha ontolox´ıa (b) Ferramentas para a análise lingü´ıstica sumativa de elaboraciónpropia, acádaseunha desenvolvidas ad hoc:12 9Dado que ao inicio do traballo unicamente o español Coa finalidade de extraer datos léxicos contaba cun wordnet vinculado ásontolox´ıasmenciona- das consultas que recorren ásrelacións das como parte do MCR (http://adimen.si.ehu.es/ semánticas de WordNet e ásontolox´ıas web/MCR), foi preciso crear bases de datos para o francése o alemán.O procedemento expl´ıcaseen Dom´ınguezet al. vinculadas aos synsets no modelo Eu- (2019, p. 61–62): “This was done by extracting the align- roWordNet desenvolvéronse tres APIs, ment between lexical variants and identifying offsets of the unha para cada lingua obxecto de estu- meaning from the WordNet Libre du Fran¸cais(WOLF) do.13. (Sagot & Fiˇser, 2008) and with data from the Exten- ded Open Multilingual WordNet (Bond & Foster, 2013). 11Poden ser, por tanto, de aplicación como léxicos Both have been made available on the GalNet interfa- computacionais lexibles por máquinas con información ce after being converted to the EuroWordNet format of semántica. the MCR.”. Dende o 2017 tamén está en desenvolve- 12Unha descricióndetallada das ferramentas atópaseen mento o Open German WordNet (https://github.com/ (Dom´ınguezet al., 2019). hdaSprachtechnologie/odenet). 13http://portlex.usc.gal/develop/de/api/; http: 10Para máisinformación vid. a descripciónda ferramen- //portlex.usc.gal/develop/es/api/; http://portlex. ta Combina no apartado3. usc.gal/develop/fr/api/ Aplicaciónde WordNet e de word embeddings no desenvolvemento de prototipos para a xeraciónautomática da lingua Linguamatica´ – 75

Figura 5: Imaxe de Lematiza

A partir dos datos envorcados do cor- o repertorio léxicoexpandido no eixo pa- pus Sketch Engine, Lematiza14 amosa os radigmático.As´ı,na busca de exemplares lemas coas súasvariantes de significado léxicosque, por exemplo, ocupen o actan- (synsets) ligadas ásdiferentes ontolox´ıas te locativo para un esquema argumental de WordNet (vid. Figura5). Taménépo- do tipo ausencia + de + Locación unha sible acceder a cada unha das categor´ıas busca compartida nesta ferramenta20 en- das ontolox´ıasde WordNet directamente vorca un repertorio léxicoen consonan- premendo nos diferentes apartados. cia cos prototipos léxicosestablecidos, por A ferramenta Combina15 permite reali- exemplo: zar consultas ásontolox´ıas de WordNet [03259505-n casa], ◦ (vid. 2.2) e, deste xeito, o envorcado se- [04172107-n chalet adosado], ◦ miautomático de datos compartidos ou [03259505-n domicilio], 16 ◦ combinados da Top Concept Ontology [03259505-n piso], (Alvez´ et al., 2008), dos WordNet Do- ◦ [03259505-n residencia] ou mains17 (Bentivogli et al., 2004), da Sug- ◦ 18 [04517408-n segunda residencia]. gested Upper Merged Ontology (Niles & ◦ Pease, 2001), dos Basic Level Concepts A ferramenta Flexiona realiza a flexión (Izquierdo et al., 2007) e dos Epinónimos dos lemas seleccionados. (GómezGuinovart & Solla, 2018), ademais dos primitivos semánticos de Miller (c) Ferramentas de xeración: Xera e Com- et al.(1990). Tras un procedemento de de- binatoria. puracióne etiquetaxe, este caudal léxico Na actualidade ambas ferramentas contem- expandido conforma os paquetes léxicos. plan a análisede 10 substantivos en 3 linguas Por tanto, se Lematiza amosa as variantes e aportan datos para 429 patrónssintácticos, de significado (por exemplo para “domi- 2536 estruturas sintáctico-semánticas (que re- cilio” na Figura5) 19, Combina presenta sultan da interface entre a realizaciónformal e a clasificaciónsemántico-relacional), as´ıco- 14http://portlex.usc.gal/develop/lematiza mo uns 2479 exemplos estándar.Un total de 15http://portlex.usc.gal/develop/combina.php 60001 formas e 15718 lemas estánadxudicados 16 https://adimen.si.ehu.es/web/WordNet2TO a diferentes clases semánticas. 17http://wndomains.fbk.eu/ 18http://www.adampease.org/OP/ 20API http://portlex.usc.gal/develop/es/api? 19Os resultados da Figura5 fan referencia ábusca CQL ontology=top&category=Building e http://portlex. en Sketch Engine [lemma=‘‘mudanza’’] [lemma=‘‘de’’] usc.gal/develop/es/api?ontology=epinonyms& [tag=‘‘D.*’’]? [tag=‘‘A.*’’]? [tag=‘‘N.*’’] . category=ili-30-03259505-n&subcategories=on 76– Linguamatica´ Mar´ıaJoséDom´ınguez Vázquez

Figura 6: Clases semánticas para n1 de discusion´ Figura 7: Interface de usuario en Combinatoria Na primeira interface de acceso a Xera, o usuario selecciona nun despregable o idioma, 2 niveis con dúasimplementaciónsdiferentes: o núcleo— neste caso discusion´ — e a estru- o algoritmo Skip-gram tenta predicir o contex- tura argumental — n1: axente (“Aquel ou to máisadecuado dunha palabra analizando o aquilo que realiza unha acción”)—, as´ıcomo seu vector e os vectores posteriores das pala- a clase ou clases semánticas protot´ıpicaspa- bras vinculadas ao vector da palabra orixe. O ra o argumento concreto dun substantivo en modelo CBOW tenta adiviñara palabra máis cuestión(Figura6) 21. Cómpreengadir que os adecuada para un contexto espec´ıfico,édicir, datos xerados seguen un principio de aleato- a palabra que máisfrecuentemente ocupa un ria predeterminada. Isto significa que as clases espazo: a dor de [espazo] do neno. Para a apli- semánticas da cada argumento seguen un fil- caciónde Word2vec partimos dun modelo pre- tro semántico e a aleatoriedade atinxe aos re- adestrado de Sketch Engine e gardamos os representantes léxicosde cada clase, non ao rol sultados no formato propio de Word2vec (en semántico. matrices de N tamaño,onde N éo tamaño Un proceso semellante séguesena consulta do do vector preconfigurado para cada palabra). xerador de combinatoria biargumental, Com- Para calcular a similitude entre os tokens cal- binatoria, que permite ao usuario seleccionar culamos a similitude entre os cosenos de dous os actantes, paquetes e a combinatoria argu- vectores, tal e como representa a seguinte fun- mental (Figura7), obtendo datos como os que ciónmatemática: recolle a Figura8). ~a ~b Porén, o tipo de datos envorcados non éa cos θ = · (1) ~a ~b únicadiferenza entre ámbalas dúasferramen- k kk k tas. Combinatoria taménofrece a posibili- dade de cribar as combinatorias mediante o O exemplo, tomado de (Bardanca Outeiriño, uso de word embeddings, representaciónsvec- 2020), amosa as´ı a distancia dos cosenos toriais dunha palabra en contexto, por tan- ou a similitude entre os lemas rose e tulip to, un filtrado seguindo criterios de frecuen- (Figura9). Coa aplicaciónda fórmula a es- cia de coaparicióncontextual (vid. parte supe- tes vectores obtemos un grao de similitude rior da Figura8). Para o desenvolvemento desde 0.73: tes vectores recorremos ao método predictivo Word2vec (Mikolov et al., 2013), que fai uso aT b = 1 1 + 1 1 + 1 1 + 1 1 + · × × × × dunha RNN (Recurrent Neural Network) de 0 1 + 1 0 + 1 0 = 4, × × × 2 2 2 2 2 2 2 21 ~a = 1 + 1 + 1 + 1 + 0 + 1 + 1 = 2,44, Isto obsérvase comparando as clases semánticas da k k Figura6 cos resultados dunha busca do argumento n3 ~b = p12 + 12 + 12 + 12 + 12 + 02 + 02 = 2,23, (“afectado: thema”) coa mesma estrutura sintáctica k k [determinante + adxectivo o + discusión + adxectivo o + p 4 similaridade = = 0,73 de + determinante + actante: n3] 2,44 2,23 × Aplicaciónde WordNet e de word embeddings no desenvolvemento de prototipos para a xeraciónautomática da lingua Linguamatica´ – 77

Figura 8: Envorcado de combinatoria

sulta especialmente relevante, xa que a correc- cióngramatical non implica directamente co- rrecciónou adecuaciónsemántico- comunicati- va. Word2vec taménse aplica na fase de con- textualización(Figura2) para cribar a coapa- riciónen contexto da modificaciónadxectival (vid. 2.2).

Figura 9: Similitude - Word2vec 4. Conclusi´onse traballos futuros

As principais dificultades no desenvolvemen- Este mesmo procedemento éo que aplicamos to dos prototipos foron as propias dos estudios para calcular a frecuencia de coapariciónen multilingüese, en especial, a escolla da metodo- contexto das palabras relacionadas cun token. lox´ıamáisapropiada para a obtencióne envor- Isto é,non usamos a análisevectorial para cado dos datos seguindo criterios non so formais, desambiguar significados, senónpara filtrar os senóntamén semánticos. Establecer unha onto- datos atendendo ácompatibilidade semántico- lox´ıadescriptiva que permitise combinar os tra- contextual dos argumentos — ou sexa, a dis- zos categoriais que serv´ıande punto de partida tribuciónno sentido de Firth(1957, p.11f) — os da lexicograf´ıavalencial - coas ontolox´ıas ou o significado combinatorio de Engel(2004, de WordNet foi unha das tarefas máislaboriosas. p.188). En definitiva, filtramos incompatibili- Finalmente desenvolveuse unha ontolox´ıapropia dades do significado combinatorio, o que re- seguindo unha aproximación bottom up. 78– Linguamatica´ Mar´ıaJoséDom´ınguez Vázquez

Os prototipos xa estánen funcionamento: da animal parte do corpo] épropia dunha acepción xeraciónde frases nominais simples — por tando tipo ‘sensaciónmolesta de tipo f´ısico’e non to, frases con estrutura monoargumental correc- dunha acepciónrelacionada co campo do senti- tas dende un punto de vista gramatical e acep- mento. Por tanto, a análisedos exemplares léxi- tables semánticamente — encárgaseo simulador cos xunto cos roles e clases semánticas poder´ıa Xera. Combinatoria, pola súabanda, aporta a xe- ser un punto de partida. Ademais contamos con raciónautomáticade frases nominais con estru- estudos preliminares sobre a modificaciónadxec- turas biargumentais, tendo taménentre as súas tival (López Iglesias, 2020) que permiten observar competencias a xeracióndo contexto frasal e do non sóa especializacióndistribucional de deter- marco oracional. Perséguese,pois, o obxectivo de minados adxectivos, senóntaména súaaparición humanizar os resultados xerados. A curto prazo preferente ou exclusiva segundo a acepciónde sig- cómpreacometer: nificado.23 Nesta liña,un estudo dos datos que envorca Word2vec (vid. 3) poder´ıaser de interese 1. tarefas de optimizacióndos propios recursos e para a análise da interface sintáctico-semántica. a súadidactización,destacando aqu´ıo aumen- to do númerodas unidades de análiseas´ıco- mo de novos campos informativos. Queda por Agradecementos desenvolver o contexto oracional. Esta investigaciónestáen relacióncos proxec- 2. unha automatización dos procedementos tos “Generaciónmultilingüede estructuras argu- anal´ıticos. Hai que continuar traballando na mentales del sustantivo y automatizaciónde ex- aplicacióncombinada de ferramentas co fin tracciónde datos sintáctico-semánticos” - Mul- de avanzar na automatizacióne optimización tiGenera (financiado pola FundaciónBBVA) — na extracción de información sintáctico- Convocatoria de ayudas a equipos de investiga- argumental e combinatoria. Nesta liña,uns cióncient´ıficaen Humanidades Digitales 2017), dos aspectos que estamos a mellorar atinxe “Generador multilingüede estructuras argumen- áextraccióne tratamento do léxico expandido, tales del sustantivo con aplicaciónen la produc- que se viñafacendo de xeito individualizado ciónen lenguas extranjeras” — MultiComb (fi- para cada unha das linguas e que supón,por nanciado por FEDER/Ministerio de Econom´ıa, exemplo, a reiteraciónde tarefas de depurado. Industria y Competitividad — Agencia Estatal Coa finalidade de evitar esta repetición de de investigación;2018, FFI2017-82454-P) as´ıco- procedementos, desenvolveuse TraduWord, mo con “Ferramentas TraduWord e XeraWord: unha ferramenta de traducióndo caudal léxico traduciónde caudal léxicoe xeraciónautomática paradigmático a partir dos datos extra´ıdos da linguaxe natural en galego e portugués”(2020- de WordNet. TraduWord xa foi aplicada no PU004, convocatoria de proxectos colaborativos, deseñodun prototipo de xeraciónautomática USC). para o galego e o portugués, XeraWord 22 (Bardanca Outeiriñoet al., 2021), o cal se fundamenta na metodolox´ıade Xera e Com- Referencias binatoria. O deseñode ferramentas deste tipo abre, por tanto, unha nova canle de traballo. Agirre, Eneko & Philip Edmonds. 2006. Word sense disambiguation. algorithms and applica- Cara ao futuro poder´ıaseexplorar se a descrip- tions. Dordrecht: Springer. ciónda interface sintáctico-semántica mediante roles e clases semánticas, que da sustento aos xe- Alvez,´ Javier, Jordi Atserias, Jordi Carrera, Sal- radores, permitir´ıaavanzar na obtenciónde re- vador Climent, Egoitz Laparra, Antoni Oliver sultados sistemáticose regulares en prol da des- & German Rigau. 2008. Complete and consis- ambiguaciónde acepciónsde significado. Algúns tent annotation of wordnet using the top con- datos apuntan nesta dirección:as´ı,no substan- cept ontology. En International Conference on tivo español DOLOR unha metaestructura do Language Resources and Evaluation (LREC), tipo [de +determinante+nome] écómun áexpre- 1529–1534. sióndo experimentante (el dolor del animal), Bardanca Outeiriño,Daniel. 2020. Automatic ge- da orixe (el dolor de la operación) e da lo- neration of dictionaries: Universidade de San- cacion´ (el dolor de espalda). Porén,a aparición dun rol locativo e, por tanto, de clases semánti- 23As´ı,por exemplo, para a expresióndunha dor de tipo cas como [animado humano órgano]ou [animado f´ısicoson frecuentes en españoladxectivos como leve, per- sistente ou frecuente, frente a sincero, hondo e irreparable 22http://ilg.usc.gal/xeraword que aparecen en realizaciónsdo campo do sentimento. Aplicaciónde WordNet e de word embeddings no desenvolvemento de prototipos para a xeraciónautomática da lingua Linguamatica´ – 79

tiago de Compostela. Trabajo de Fin de Hashimoto, Tatsunori, Hugh Zhang & Percy Máster. Liang. 2019. Unifying human and statistical Bardanca Outeiriño, Daniel, Mar´ıa Ca´ıña evaluation for natural language generation. En Hurtado, Mar´ıa José Dom´ınguez Vázquez, Conference of the North American Associa- JoséLuis Iglesias Allones & Alberto Simões. tion for Computational Linguistics (NAACL), 2021. Automatic generation of nominal phra- 1689–1701. 10.18653/v1/N19-1169. ses: Extending the tool Xera for portuguese Horacek, Helmut & Michael Zock. 2015. New and galician languages. No prelo. concepts in natural language generation: Plan- Bentivogli, Luisa, Pamela Forner, Bernardo Mag- ning, realization and systems. London: Blo- nini & Emanuele Pianta. 2004. Revising Word- omsbury Academic. Net domains hierarchy: Semantics, coverage, Izquierdo, Rubén,Armando Suárez& German and balancing. En COLING Workshop on Rigau. 2007. Exploring the automatic selection Multilingual Linguistic Resources, 101–108. of basic level concepts. En International Con- Bond, Francis & Ryan Foster. 2013. Linking and ference on Recent Advances on Natural Lan- extending an open multilingual WordNet. En guage Processing (RANLP), 298–302. Meeting of the Association for Computational Jiménez, Moreno, Luis Gil, Juan Manuel Linguistics (ACL), 1352–1362. Torres-Moreno, Roseli S. Wedemann & Erich Delli Bovi, Claudio & Roberto Navigli. 2017. SanJuan. 2020. Generación automática de Multilingual semantic dictionaries for natural frases literarias. Linguamática 12(1). 15–30. language processing: The case of BabelNet. En 10.21814/lm.12.1.308. Encyclopedia with Semantic Computing and Kabashi, Besim. 2018. A lexicon of Albanian for Robotic Intelligence, 149–163. World Scientific. natural language processing. En EURALEX 10.1142/9789813227927_0017. International Congress: Lexicography in Global Dom´ınguez, Mar´ıa José,Miguel Anxo Solla & Contexts, 855–862. Carlos Valcárcel.2019. Resources interopera- bility: exploiting lexicographic data to automa- Kilgarriff, Adam, Milos Husák,Katy McAdam, tically generate dictionary examples. En eLex Michael Rundell & Pavel Rychlý.2008. GDEX: Conference: Electronic lexicography in the 21st automatically finding good dictionary exam- century, 51–57. ples in a corpus. En EURALEX International Congress, 425–432. Dom´ınguez, Mar´ıa José & Carlos Valcárcel. 2020. PORTLEX as a multilingual and Kosem, Iztok, Kristina Koppel, Tanara Zingano cross-lingual online dictionary. En Stu- Kuhn, Jan Michelfeit & Carole Tiberius. 2019. dies on multilingual lexicography, 135–158. Identification and automatic extraction of go- 10.1515/9783110607659-008. od dictionary examples: the case(s) of GDEX. International Journal of Lexicography 32. 119– Engel, Ulrich. 2004. Deutsche Grammatik – Neu- 137. 10.1093/ijl/ecy014. bearbeitung. München: Iudicium. Firth, John Rupert. 1957. A synopsis of linguistic López Iglesias, Nerea. 2020. Analysing nominal theory: 1930–1955. Philological Society. phrase contexts for the automatic extraction of linguistic and lexicographic data: Universidade Gamallo, Pablo & Jose Ramom Pichel. 2007. do Minho. Trabajo de Fin de Máster. Un método de extracciónde equivalentes de traduccióna partir de un corpus comparable Mikolov, Tomas, Ilya Sutskever, Kai Chen, Greg castellano-gallego. Procesamiento del Lenguaje Corrado & Jeffrey Dean. 2013. Distributed re- Natural 39. 241–248. presentations of words and phrases and their compositionality. En International Conferen- Geyken, Alexander, Frank Wiegand & Kay- ce on Neural Information Processing Systems, Michael Würzner.2017. On-the-fly generation 3111–3119. of dictionary articles for the DWDS website. En eLex Conference: Electronic lexicography in Miller, George A., Richard Beckwith, Christiane the 21st century, 560–570. Fellbaum, Derek Gross & Katherine J. Miller. 1990. WordNet: an on-line lexical database. In- GómezGuinovart, Xavier & Miguel Anxo So- ternational Journal of Lexicography 3(4). 235– lla. 2018. Building the Galician word- 244. 10.1093/ijl/3.4.235. net: methods and applications. Langua- ge Resources and Evaluation 52(1). 317–339. Nallapati, Ramesh, Bowen Zhou, Cicero dos 10.1007/s10579-017-9408-5. Santos, Ça˘glar Gül¸cehre & Bing Xiang. 80– Linguamatica´ Mar´ıaJoséDom´ınguez Vázquez

2016. Abstractive text summarization using sequence-to-sequence RNNs and beyond. En Conference on Computational Natu- ral Language Learning (CoNLL), 280–290. 10.18653/v1/K16-1028. Navigli, Roberto & Simone Paolo Ponzeto. 2012. BabelNet: the automatic cons- truction, evaluation and application of a wide-coverage multilingual semantic network. Artificial Intelligence 193. 217– 250. 10.1016/j.artint.2012.07.001. Niles, Ian & Adam Pease. 2001. Towards a standard upper ontology. En International Confe- rence on Formal Ontology in Information Sys- tems, 2–9. doi/10.1145/505168.505170. Otter, Daniel. W., Julian R. Medina & Ju- gal K. Kalita. 2020. A survey of the usages of deep learning for natural language processing. IEEE Transactions on Neu- ral Networks and Learning Systems 1–21. 10.1109/TNNLS.2020.2979670. Padró,Llu´ıs.2012. Analizadores multilingüesen FreeLing. Linguamática 3(2). 13–20. Renau, Irene & Rogelio Nazar. 2016. Automa- tic extraction of lexical patterns from corpora. En EURALEX International Congress: Lexi- cography and Linguistic Diversity, 823–830. Roemmele, Melissa. 2016. Writing stories with help from recurrent neural networks. En Conference on Artificial Intelligence (AAAI), 4311–4312. Sagot, Benoˆıt& Darja Fiˇser. 2008. Building a free French wordnet from multilingual resources. En OntoLex 2008 Workshop, s/pp. Sordoni, Alessandro, Michel Galley, Michael Au- li, Chris Brockett, Yangfeng Ji, Margaret Mit- chell, Jian-Yun Nie, Jianfeng Gao & Bill Do- lan. 2015. A neural network approach to context-sensitive generation of conversational responses. En Annual Conference of the North American Chapter of the ACL, 196–205. 10.3115/v1/N15-1020. Trap-Jensen, Lars. 2018. Lexicography between nlp and linguistics: Aspects of theory and practice. En EURALEX International Congress: Lexicography in Global Contexts, 25–37. Vicente, Marta, Cristina Barros, Francisco Agulló,Fernand S. Peregrino & Elena Lloret. 2015. La generaciónel lenguaje natural: análi- sis del estado actual. Computacióny Sistemas 19(2). 721–756. 10.13053/CyS-19-4-2196. http://www.linguamatica.com/

Artigos de Investiga¸cão Adapta¸cãoLexical Automáticaem Textos Informativos do PortuguêsBrasileiro Nathan Siegle Hartmann & Sandra Maria Alu´ısio Avaliando entidades mencionadas na cole¸cãoELTeC-por Diana Santos, Eckhard Bick & Marcin Wlodek Avalia¸cãode recursos computacionais para o português Matilde Gon¸calves,Lu´ısaCoheur, Jorge Baptista & Ana Mineiro

Projetos, Apresentam-se! Aplicaciónde WordNet e de word embeddings no desenvolvemento de prototipos para a xeración automáticada lingua Mar´ıaJoséDom´ınguezVázquez lingua