Linguistic Structure in Statistical Machine Translation zur Erlangung des akademischen Grades eines Doktors der Ingenieurwissenschaften der Fakult¨atf¨urInformatik des Karlsruher Instituts f¨urTechnologie (KIT) genehmigte Dissertation von Teresa Herrmann aus Dresden Tag der m¨undlichen Pr¨ufung: 19. Juni 2015 Erster Gutachter: Prof. Dr. Alexander Waibel Zweiter Gutachter: Dr. Stephan Vogel Abstract The first approaches to machine translation required linguists or language experts writing language-dependent translation rules by hand. In the last 20 years, statistical approaches applying machine learning techniques have be- come the state-of-the-art. They automatically learn translation rules from large parallel corpora of existing translations. This facilitates fast develop- ment of translation systems for new languages without the need for language experts writing rules. In phrase-based machine translation, new translations are constructed from phrases seen in previous translations during training. In most cases, this flat composition of phrases leads to good results, espe- cially for translations between languages with similar sentence structure. However, this strong suit of statistical translation exposes a weakness, if there are structural di↵erences between the languages. German is one of the languages where structural changes are necessary during translation, which increases the difficulty for translation. A particular challenge is the position of the verb in the German sentence, which depends on various factors that need to be taken into consideration when translating from or into German. The knowledge about sentence structure could provide helpful information for the translation process. This thesis investigates the influence of linguistic structure in statistical machine translation. The first part of this thesis addresses the particu- lar challenge that di↵erences in word order between languages present for translation. We develop a word reordering model based on the structural information inherent in phrase structure trees. This reordering model is included as a separate component in a phrase-based machine translation system. It consists of rules on how to change the word order when translat- ing from one language into another. These rule are automatically learned from a parallel corpus that was annotated with syntactic parse trees for the source language. These rules define the search space for possible reorderings of the source sentence during translation. In comparison to a part-of-speech- based reordering model alone, the combination of the two models achieves an improvement of the word order in the target language, which can be further increased when including a lexicalized reordering model. Hence, the di↵erent word reordering models operating on di↵erent linguistic lev- els (words, parts-of-speech and syntax) have shown complementary e↵ects which can be increased further when combined. Measuring translation quality with regard to word order is difficult with automatic evaluation metrics. We perform a manual evaluation of the re- ordering approach on three di↵erent data sets representing di↵erent gen- res. Although the amount of a↵ected sentences varies between genres, the manual evaluation of the translation quality on German-English translation confirms consistent improvements on all three data sets. The improvements introduced by the syntactic reordering model consist of translations of words that were removed from the translation before, as well as improved positions of words and whole constituents in the translated sentence. As intended in the design of the syntactic reordering model, verbs are the most a↵ected word category. Furthermore, we analyzed the potential and limits of the syntax-based reordering approach with experiments regarding the performance of the syntax-based and the part-of-speech-based reordering approaches. Oracle experiments revealed the maximal improvement that can be achieved with the syntax-based reordering model. First, the upper bound was determined for the source sentence reordering approach in general. This was compared with the highest achievable performance of the syntax-based approach and its actual performance generated by the decoder. It can be shown that the syntax-based reordering rules improve the search space of available reorder- ing possibilities. More correct reordering options are generated and when translating from German to English those are also chosen frequently for translation. For translation from English into German, there is potential for improving the search among the reordering options to generate better translations. The experiments also indicate that the reordering model would benefit from additional rules to expand the search space further in order to approximate the word order even better. In the second part of the thesis we address the issues of translating pro- nouns and improving the morphological agreement for morphologically rich languages in statistical machine translation. For disambiguating between all possible translation options for a word, context information is needed. Especially when morphological agreement between words such as pronouns and their antecedent, or subjects and verbs is required, the dependencies between words are also important. A source discriminative word lexicon (SDWL) is developed for predicting the translation for individual source words in their respective contexts. The prediction is performed as a classification task, where the context words and dependency relations of the given source word are used as structural features of the source sentence to guide the translation prediction. The evaluation of the prediction accuracy shows improved translation prediction by the SDWL over a baseline classifier, especially for pronouns, subjects and verbs. The translation predictions for individual words are combined on the sentence level and used in N-best list re-ranking. According to automatic evaluation, the translation quality after re-ranking is improved. Zusammenfassung In den urspr¨unglichen Ans¨atzen zur maschinellen Ubersetzung¨ waren Lin- guisten oder Sprachexperten notwendig, die sprachspezifische Ubersetzungs-¨ regeln per Hand schreiben mussten. In den letzten 20 Jahren sind statis- tische Ans¨atze zur maschinellen Ubersetzung¨ zum State-of-the-Art gewor- den. Dabei werden mit Hilfe von Verfahren aus dem Maschinellen Lernen Ubersetzungsregeln¨ automatisch aus großen Korpora bestehender Uberset-¨ zungen gelernt. Diese Vorgehensweise erm¨oglicht die schnelle Entwick- lung von Ubersetzungssystemen¨ f¨ur neue Sprachen, ohne dass Experten- wissen notwendig ist. Das Zusammensetzen einer neuen Ubersetzung¨ aus Mehrwortphrasen im Training gesehener Ubersetzungsbl¨ocke¨ f¨uhrt in den meisten F¨allen zu guten Ubersetzungen,¨ besonders wenn die Ubersetzung¨ zwischen Sprachen erfolgt, deren Satzbau einer ¨ahnlichen Struktur folgt. Wenn Unterschiede in der Sprachstruktur zwischen den Sprachen bestehen, stellt dies allerdings eine Schw¨ache dar. Deutsch ist eine der Sprachen, bei denen w¨ahrend der Ubersetzung¨ strukturelle Anderungen¨ notwendig sind, die den Ubersetzungsprozess¨ erschweren. Eine besondere Schwierig- keit im Deutschen stellt die Stellung des Verbs im Satz dar, welche von verschiedenen Faktoren abh¨angt, die bei Ubersetzungen¨ ins oder aus dem Deutschen beachtet werden m¨ussen. Die Kenntnis der sprachlichen Struktur des Satzes kann jedoch f¨ur die Ubersetzung¨ hilfreiche Informationen liefern. In dieser Arbeit wird der Einfluss von linguistischer Struktur in der statis- tischen maschinellen Ubersetzung¨ untersucht. Unterschiede in der Wortstel- lung zwischen Sprachen stellen f¨ur die Ubersetzung¨ eine besondere Schwierig- keit dar. Im ersten Teil der Arbeit wird eine Komponente f¨ur die Mod- ellierung von Wortumordnungen entwickelt, die auf linguistischen Struk- turinformation aus Phrasenstrukturb¨aumen basiert. Die Regeln f¨ur die Wortstellungs¨anderungen werden automatisch aus einem parallelen Kor- pus, dessen Quellsprachseite mit syntaktischen Phrasenstrukturb¨aumen an- notiert wurde, gelernt. Die gelernten Regeln definieren den Suchraum der m¨oglichen Umordnungen des Quellsatzes f¨ur m¨ogliche Ubersetzungen.¨ Gegen- ¨uber einem Umordnungsmodell das nur auf Wortkategorien basiert, k¨onnen durch die Kombination der beiden Modelle Verbesserungen in der Wortstel- lung erzielt werden, die noch gesteigert werden k¨onnen durch das weitere Hinzuf¨ugen eines lexikalischen Umordnungsmodells. Es kann somit gezeigt werden, dass die verwendeten Modelle zur Modellierung der Wortstellung in der Ubersetzung¨ zueinander komplement¨are E↵ekte haben, die sich zur weiteren Steigerung der Wirksamkeit kombinieren lassen. Die Ubersetzungsqualit¨atin¨ Bezug auf die Wortstellung ist mit automatis- chen Evaluationsmetriken schwer zu bewerten. Daher wird in der Arbeit eine manuelle Evaluation des Umordnungsansatzes auf drei verschiedenen Textgenres und Stilrichtungen durchgef¨uhrt. Obwohl die Anzahl der jeweils betro↵enen und analysierten S¨atze variiert, k¨onnen in einer manuellen Eval- uation der Ubersetzungsqualit¨atauf¨ Satzebene konsistente Verbesserungen auf allen drei Datens¨atzen nachgewiesen werden. Die Verbesserungen, die das Syntaxmodell einbringt, bestehen aus Ubersetzungen¨ f¨ur W¨orter, die vorher aus der Ubersetzung¨ entfernt wurden, sowie die verbesserte Position von einzelnen W¨ortern und ganzen Satzkonstituenten im ¨ubersetzten Satz. Wie im Entwurf des syntaktischen Umordnungsmodells vorgesehen, sind Verben die haupts¨achlich betro↵ene