Estimation of Average Total Effects in Quasi-Experimental Designs: Nonlinear Constraints in Structural Equation Models Dissertation zur Erlangung des akademischen Grades doctor philosophiae (Dr. phil.) vorgelegt dem Rat der Fakultät für Sozial- und Verhaltenswissenschaften der Friedrich-Schiller-Universität Jena von Dipl.-Psych. Joachim Ulf Kröhne geboren am 02. Juni 1977 in Jena Gutachter: 1. Prof. Dr. Rolf Steyer (Friedrich-Schiller-Universität Jena) 2. PD Dr. Matthias Reitzle (Friedrich-Schiller-Universität Jena) Tag des Kolloquiums: 23. August 2010 Dedicated to Cora and our family(ies) Zusammenfassung Diese Arbeit untersucht die Schätzung durchschnittlicher totaler Effekte zum Vergleich der Wirksam- keit von Behandlungen basierend auf quasi-experimentellen Designs. Dazu wird eine generalisierte Ko- varianzanalyse zur Ermittlung kausaler Effekte auf Basis einer flexiblen Parametrisierung der Kovariaten- Treatment Regression betrachtet. Ausgangspunkt für die Entwicklung der generalisierten Kovarianzanalyse bildet die allgemeine Theo- rie kausaler Effekte (Steyer, Partchev, Kröhne, Nagengast, & Fiege, in Druck). In dieser allgemeinen Theorie werden verschiedene kausale Effekte definiert und notwendige Annahmen zu ihrer Identifikation in nicht- randomisierten, quasi-experimentellen Designs eingeführt. Anhand eines empirischen Beispiels wird die generalisierte Kovarianzanalyse zu alternativen Adjustierungsverfahren in Beziehung gesetzt und insbeson- dere mit den Propensity Score basierten Analysetechniken verglichen. Es wird dargestellt, unter welchen Annahmen die generalisierte Kovarianzanalyse zu unverfälschten Schätzungen durchschnittlicher totaler Effekte führt und es wird ein Überblick über zusätzliche Herausforderungen gegeben, die für eine Analyse von durchschnittlichen totalen Effekten in nicht-randomisierten Designs berücksichtigt werden müssen. Es werden drei zentrale Anforderungen für die Schätzung von durchschnittlichen totalen Effekten in quasi-experimentellen Designs mit Behandlungszuweisung auf individueller Ebene dargestellt: (1) Interak- tionen zwischen Kovariaten und der Behandlungsvariablen, (2) die Stochastizität der Kovariaten sowie die daraus resultierende Nichtlinearität der zu prüfenden Hypothese sowie (3) Varianzheterogenität der Resi- duen. Im theoretischen Teil dieser Arbeit wird gezeigt, dass der Standardfehler des allgemeinen linearen Mo- dells für den durchschnittlichen totalen Effekt häufig verfälscht ist, wenn Interaktionen zwischen Kovaria- ten und der Behandlungsvariable vorliegen und die Kovariaten stochastische Größen sind. Ebenso wird ge- zeigt, dass auch für mittelwertszentrierte Kovariaten die Standardfehler für den durchschnittlichen totalen Effekt verfälscht sind, wenn die Kovariaten mit ihrem geschätzten Stichprobenmittelwert zentriert werden. Ausgehend von einer Darstellung der gebräuchlichen Methoden zur Erforschung von Interaktionstermen wird hergeleitet, dass für die statistische Inferenz über durchschnittliche totale Effekte die Annahme einer gemeinsamen multivariaten Verteilung der Erfolgsvariablen, der Kovariaten und der Behandlungsvariablen notwendig ist. Die Annahme einer gemeinsamen Verteilung ist notwendig für unverfälschte Standardfehler von Schät- zern durchschnittlicher totaler Effekte. Diese Annahme einer gemeinsamen Verteilung der Regressoren wird traditionell für Strukturgleichungsmodelle gemacht. Es wird deshalb untersucht, wie mit Hilfe von v Strukturgleichungsmodelle mit nichtlinearen Restriktionen geschätzter Modellparameter Hypothesen über durchschnittliche Behandlungseffekte getestet werden können und die bereits von Nagengast (2006) und Flory (2008) untersuchten Strukturgleichungsmodelle werden im Hinblick auf die drei oben genannten Anforderungen untersucht. Zusätzlich werden Verfahren der Standardfehlerkorrektur des allgemeinen li- nearen Modells für die statistische Inferenz über durchschnittliche totale Effekte erforscht, beispielsweise robuste Standardfehler basierend auf heteroskedastizitätskonsistenten Varianzkovarianzmatrizen (White, 1980a) sowie adjustierte Standardfehler für sogenannte regression estimates (Schafer & Kang, 2008). Spezifi- sche Hypothesen über die Robustheit der Ansätze werden beschrieben. Insbesondere wird im Hinblick auf die theoretisch begründete Varianzheterogenität untersucht, unter welchen Bedingungen Robustheit für die jeweiligen Verfahren erwartet werden kann. In zwei Monte-Carlo Simulationen werden die verschiedenen Strukturgleichungsmodelle mit nichtli- nearen Restriktionen vertiefend analysiert und mit Prozeduren zur Standardfehlerkorrektur des allgemei- nen linearen Modells verglichen. Dazu werden sieben konkrete Forschungsfragestellungen unter einem breiten Spektrum möglicher Parameterkonstellationen für die Datenerzeugung untersucht. Zusätzlich wird die Verfälschung des Standardfehlers bei Mittelwertszentrierung illustriert und es werden die Konsequen- zen der Verletzung der Linearitätsannahme der allgemeinen linearen Hypothese aufgezeigt. Die Verfahren, welche in der ersten Simulation zu unverfälschten Schätzungen des durchschnittlichen totalen Effekts und zu unverfälschten Standardfehlern geführt haben, werden dann in einer zweiten Monte-Carlo Simulation im Hinblick auf die statistische Power und ihr Verhalten bei kleinen Stichprobengrößen verglichen. Die Ergebnisse der Simulationsstudie bestätigen die Angemessenheit von richtig spezifizierten Struk- turgleichungsmodellen mit nichtlinearen Restriktionen für die Analyse von durchschnittlichen totalen Ef- fekten in Beobachtungsstudien. Bedeutsame Unterschiede zwischen Ein- und Mehrgruppenmodellen für die Schätzung von durchschnittlichen totalen Effekten werden gezeigt. Weiterhin wird der von Nagengast (2006) untersuchte und in EffectLite (Steyer & Partchev, 2008) implementierte Augmentierungsansatz der Varianz-Kovarianzmatrix der Parameterschätzer bestätigt. Die Simulationsstudie zeigt auch, dass der von Schafer & Kang (2008) entwickelte adjustierte Standardfehler für den durchschnittlichen totalen Effekt auch für stochastische Regressoren und unter allen betrachteten Bedingungen mit Varianzheterogenität sowie unabhängig von der Gruppengröße unverfälscht ist. Der direkte Vergleich der Strukturgleichungsmodelle mit nichtlinearen Restriktionen mit Schafer & Kangs adjustiertem Standardfehler demonstriert die Ange- messenheit der generalisierten Kovarianzanalyse als Strukturgleichungsmodell mit nichtlinearen Restrik- tionen. Die statistische Power der Wald-Test Statistik der nichtlinearen Restriktionen ist unter den analy- sierten Datensätzen der zweiten Simulationsstudie insgesamt für mittlere und große Stichprobengrößen vi vergleichbar mit der statistischen Power der Teststatistik basierend auf dem adjustierten Standardfehler für regression estimates. Abschließend werden die verschiedenen Vor- und Nachteile der generalisierten Kovarianzanalyse als erweitertes Mehrgruppen-Strukturgleichungsmodell vergleichend zu dem adjustierten Standardfehler für regression estimates dargestellt. Den spezifischen Vorteilen, (1) latente Kovariaten berücksichtigen zu kön- nen, (2) eine flexible Behandlung fehlender Werte insbesondere der Kovariaten zu ermöglichen und (3) eine Erweiterbarkeit für den Vergleich von mehr als zwei Behandlungsgruppen zu ermöglichen, steht vor allem die multivariate Normalverteilungsannahme als Nachteil gegenüber, welche für die untersuchten Ansätze zur Schätzung der Parameter der Strukturgleichungsmodelle notwendig ist. In der Diskussion wird die Bedeutung der Unterscheidung zwischen fixierten und stochastischen Re- gressoren für die Analyse durchschnittlicher totaler Effekte hervorgehoben. Darüber hinaus werden wei- terführende Forschungsfragen und mögliche Ergänzungen der untersuchten Analysetechniken, bspw. im Hinblick auf eine Kombination mit Propensity Score basierten Adjustierungsverfahren, dargestellt. Die Ar- beit schließt mit konkreten Empfehlungen für die Anwendung der generalisierten Kovarianzanalyse und für die Weiterentwicklung des Programms zur Analyse kausaler Effekte (EffectLite, Steyer & Partchev, 2008). Abstract This thesis focuses on estimating average total effects for the comparison of treatments based on quasi-experimental designs. For this purpose a generalization of analysis of covariance will be considered for the estimation of causal effects based on a flexible parameterization of the covariate-treatment regres- sion. The stochastic theory of causal effects (Steyer, Partchev, Kröhne, Nagengast, & Fiege, in press) consti- tutes the starting point for developing generalized analysis of covariance. In this general theory, different causal effects are defined and sufficient assumptions for their identification in non-randomized, quasi- experimental designs will be introduced. Using an empirical example, we will compare generalized analysis of covariance to the various other adjustment techniques and, in particular, we will compare this method to adjustment procedures based on propensity scores. Furthermore, we treat some assumptions implying un- biased estimates of average total effects. We will also discuss additional challenges in applying adjustment procedures for causal effects in non-randomized designs. We will describe three issues that are crucial for the estimation of average total effects in quasi- experimental designs with treatment assignment on the individual level: (1) Interactions between covari- ates and the treatment variable, (2) stochasticity of covariates and the resulting nonlinearity of the hypoth- esis of no average total effect,