Una Aplicación En Encuestas Telefónicas Does the Order of Presentation of 0-10 Rating Scales Affect Responses? an Application to Telephone Surveys
Total Page:16
File Type:pdf, Size:1020Kb
doi:10.5477/cis/reis.168.125 ¿Influye en la respuesta el orden de administración de escalas valorativas 0-10? Una aplicación en encuestas telefónicas Does the Order of Presentation of 0-10 Rating Scales Affect Responses? An Application to Telephone Surveys Vidal Díaz de Rada Palabras clave Resumen Dirección de la escala Pese a la gran tradición de las investigaciones sobre «efectos de • Encuestas telefónicas respuesta» en encuestas, hay escasa literatura sobre la influencia de la • Escalas de medida dirección de administración de escalas ordinales. Investigaciones • Orden de respuesta recientes han demostrado que variar la dirección de una escala de 11 puntos influye en las respuestas obtenidas/logra distribuciones diferentes. El presente trabajo busca analizar hasta que punto estas conclusiones, localizadas en la sociedad norteamericana, se producen también en la sociedad española. Una encuesta telefónica aplicada a dos muestras equivalentes de una comunidad autónoma proporciona una gran similitud en las respuestas con independencia de la dirección de administración de escalas ordinales. De las 14 escalas empleadas, tan solo 3 presentan distribuciones diferentes, influyendo más la edad y el nivel de estudios. Key words Abstract Scale Direction Despite the long tradition of research on «response effects» in surveys, • Telephone Surveys there is little literature on the impact of the direction of administration of • Measurement Scales ordinal rating scales. Recent studies have shown that varying the • Response Order direction of an 11-point scale produces different distributions. This study seeks to analyse to what extent these conclusions, found among North American society, are also applicable to Spanish society. A telephone survey administered to two equivalent samples of an autonomous region provided very similar responses, regardless of the direction of ordinal rating scales. Cómo citar Díaz de Rada, Vidal (2019). «¿Influye en la respuesta el orden de administración de escalas valorativas 0-10? Una aplicación en encuestas telefónicas». Revista Española de Investigaciones Sociológicas, 168: 125-136. (http://dx.doi.org/10.5477/cis/reis.168.125) La versión en inglés de esta nota de investigación puede consultarse en http://reis.cis.es Vidal Díaz de Rada: Universidad Pública de Navarra | [email protected] Reis. Rev.Esp.Investig.Sociol. ISSN-L: 0210-5233. Nº 168, Octubre - Diciembre 2019, pp. 125-136 126 ¿Influye en la respuesta el orden de administración de escalas valorativas 0-10? Una aplicación en encuestas telefónicas INTRODUCCIÓN dos. Este efecto, localizado en otros países, es el origen de la presente investigación. Se El estudio de los «efectos de respuesta» busca demostrar hasta qué punto estos ha- constituye un ámbito de estudio con gran tra- llazgos, localizados inicialmente en una en- dición en la investigación con encuestas. Con cuesta de temas económicos (Yan y Keusch, más o menos intensidad, esta temática ha 2015) y constatados después en estudios centrado la atención de numerosos investiga- sobre temas políticos (Liu y Keusch, 2017; dores desde mediados de la década de los Yan, Keusch y He, 2018), se producen tam- años cuarenta hasta la actualidad (entre otros, bién en España. Kamoen et al., 2011). La influencia del orden En cuanto a la estructura del trabajo, co- en que son administradas las categorías se ha mienza con un epígrafe donde se realiza una explicado considerando numerosos factores. breve exposición de los trabajos más rele- Una de las primeras interpretaciones explica vantes sobre la influencia de las categorías este proceso aludiendo a los distintos tipos de respuesta, finalizando con los efectos de memoria, considerando que la memoria a producidos por la dirección de la escala. En largo plazo es utilizada para retener las cate- el segundo se presenta la investigación utili- gorías presentadas en primer lugar, despla- zada para comprobar la presencia de este zando a la memoria a corto plazo a las últimas efecto en nuestro entorno, especificando las categorías (entre otros, Bruce y Papay, 1970). preguntas utilizadas y las técnicas de análisis Otros expertos (entre otros, Simon, 1957) de datos empleadas. En el tercer epígrafe se aluden al deseo de terminar la respuesta al analizan los efectos en cada tipo de pregun- cuestionario cuanto antes, generando así ta, precediendo a las conclusiones. una «situación de prisa» que dificulta nota- blemente tanto la comprensión de la pregun- ta como la elección de respuestas adecua- INFLUENCIA DEL ORDEN DE das (Tourangeau y Rasinski, 1988). ADMINISTRACIÓN DE LAS Una tercera vía interpretativa, desarrolla- RESPUESTAS DE UN CUESTIONARIO da por Krosnick y Alwin (1987), considera que —pese a la existencia de ideas asenta- De todos los posibles efectos producidos por das en la mente del entrevistado— la rapidez el orden de administración de las respuestas, en seleccionar la información genera que las este trabajo centrará la atención en las esca- primeras alternativas provoquen la creación las valorativas. El uso de este tipo de escalas de un marco cognitivo por el que van a ser es muy usual en investigaciones sociales y juzgadas las siguientes. políticas, siendo innumerables los ámbitos en Sin desdeñar la importancia de estos as- los que se han utilizado: valoración de políti- pectos, en los últimos años están aparecien- cos y líderes, satisfacción de productos o do numerosos trabajos que demuestran que servicios, probabilidades de participación la dirección de administración de las escalas política, ideología izquierda-derecha, etc. valorativas influye considerablemente en las Decidida la utilización de una pregunta de respuestas de los entrevistados (entre otros, este tipo, posteriormente el investigador Bassili y Krosnick, 2000; Tourangeau, Cou- debe determinar el número de categorías de per y Conrad, 2013; Yan y Keusch, 2015). respuesta, existencia/ausencia de opción in- Estos expertos localizan un efecto «dirección termedia, empleo de términos en los extre- de la escala», esto es, detectan que adminis- mos o en cada una de las categorías, uso de trar una escala comenzando por los valores una formulación acuerdo/desacuerdo o de más bajos o por los más altos produce dife- una escala específica, y el orden de adminis- rencias en las respuestas de los entrevista- tración de las alternativas de respuesta Reis. Rev.Esp.Investig.Sociol. ISSN-L: 0210-5233. Nº 168, Octubre - Diciembre 2019, pp. 125-136 Vidal Díaz de Rada 127 (Krosnick y Presser, 2010). El investigador, amplitud de escala e igualdad en las etique- lógicamente, utilizará cada uno de estos ele- tas numéricas y/o verbales no garantiza la mentos en función de las necesidades de validez, en la medida que la dirección de la análisis, en la medida que las decisiones to- escala influye en la percepción —y en las madas en este momento determinarán las respuestas— de los entrevistados. Cons- técnicas de análisis de los datos a utilizar. cientes de estos hallazgos, y considerando Cada una de estas decisiones requerirá las diferencias entre la aplicación de las es- de más o menos esfuerzo por parte del en- calas en Norteamérica (del «totalmente de trevistado. Así, por ejemplo, el formato acuerdo» al «totalmente en desacuerdo») y acuerdo/desacuerdo con 11 categorías (0 a en los Países Bajos (de forma inversa), Yan 10) con etiquetas únicamente en los extre- y Keush (2015) utilizaron una escala sobre mos, muy utilizado habitualmente, es des- «valoración del desarrollo de los países» aconsejado por numerosos expertos (entre que fue aplicada en ambas direcciones: una otros, Dillman, Smyth y Christian, 2014; Re- de más desarrollado a menos (10-0), y otra villa, Saris y Krosnick, 2014) por el mayor de menos a más (0-10). esfuerzo cognitivo que debe hacer el en- Los resultados obtenidos desvelan, por cuestado para procesar una información de un lado, unas puntuaciones más altas para este tipo. A estas implicaciones, comproba- todos los países (mayor desarrollo) cuando das en numerosas investigaciones (entre la escala comienza por el número más alto, otros, Krosnick y Presser, 2010), se añade concluyendo que «[...] las calificaciones pre- que muchas personas tienen dificultad para sentan más variación en los países desarro- expresarse en términos numéricos; puesto llados cuando la escala comienza con 0, y que implica un doble proceso: formular una son más estables en los países subdesarro- opinión, que deberá posteriormente ser llados cuando la escala comienza con 10» «convertida» a un criterio numérico. (Yan y Keush, 2015). Algunos experimentos (entre otros, Tou- Buscando constatar la generalidad de rangeau, Couper y Conrad, 2013) localizan sus hallazgos a otras temáticas se procedió que las escalas numéricas con etiquetas en de forma similar en un estudio con dos en- los extremos son respondidas con más rapi- cuestas sobre temas políticos (Liu y Keusch, dez cuando comienzan con las respuestas 2017; Yan, Keusch y He, 2018). Los resulta- más positivas-favorables (el 10 en este caso), dos desvelan que la dirección de administra- aunque advierten también que esta forma de ción de la escala presenta más influencia en colocación produce una mayor elección de preguntas no actitudinales, cuando están las primeras opciones de la escala. Investi- colocadas en la segunda mitad del cuestio- gaciones más recientes (Dillman, Smyth y nario, y cuando la escala presenta una gran Christian, 2014) no detectan diferencias en la amplitud (Yan, Keusch y He, 2018). distribución cuando las escalas comienzan Pese a que las primeras investigaciones