Tamaño del efecto D para grupos independientes

Uno de los tipos más comunes de investigación es el de la distribución de la muestra objeto de estudio en grupos independientes. En términos generales, los grupos independientes proceden de la misma población y se dividen en varias agrupaciones que serán sometidas a distintas intervenciones y que no hay ningún criterio original que los relacione.  El clásico ejemplo de grupos independientes en investigación es el grupo control y grupo experimental.

Como ya se ha visto anteriormente, podemos analizar cuantitativamente en un meta-análisis varios estudios comunes que, por un lado, hayan incluido dos grupos independientes (normalmente el grupo control y el experimental) y que, por otro, hayan usado la misma medida o escala a través de la diferencia de medias no estandarizada [Raw mean difference en inglés] que se expresa como el tamaño del efecto D. 

Si bien es cierto que la mayoría de programas informáticos y software específico para meta-análisis realizan el cálculo automático de este (y otros tamaños del efecto), es conveniente repasar los pasos matemáticos que se siguen para poder analizar el efecto global de todos los estudios. Principalmente, para calcular el tamaño del efecto D para grupos independientes emplearemos cuatro fórmulas relativamente sencillas:

Estimador de la diferencia de medias (D)

El estimador de la diferencia de medias no estandarizada (D) para grupos independientes es similar a su parámetro poblacional que venía determinado por la letra griega delta.

Como su propio nombre indica, la diferencia de medias es sencillamente una resta entre la media (objeto de estudio) del grupo A y la (misma) media del grupo B. Aquí hemos cambiado el nombre de grupo control y experimental por A y B porque el orden en la diferencia es arbitrario. Lo que siempre ser recomienda es que se use el mismo criterio en todos los estudios. 

Varianza de la D

La segunda fórmula en el cálculo de D para cualquier estudio que pretenda ser meta-analizado es la varianza. Esta fórmula variará en función de si asumimos que las desviaciones típicas de las dos poblaciones son iguales o no.

• Si se asume igualdad de desviaciones típicas poblacionales, esto es σa = σb, emplearemos las siguiente fórmula que incluirá el cálculo previo de la desviación típica unificada [Spooled en inglés]. La mayoría de pruebas paramétricas asumen igualdad de desviaciones típicas poblacionales. Por lo tanto, esto puede ser un buen criterio para elegir la siguiente fórmula.

• Por el contrario, si no se asume la igualdad de desviaciones típicas poblacionales, esto es σa ≠ σb, deberemos recurrir a la siguiente fórmula.  

Error estándar de la D

La última fórmula que deberemos calcular, una vez obtenido el valor de la variaEnza de D es el error estándar. Sencillamente, el error estándar es la raíz cuadrada de la varianza anterior (indpendientemente de si se ha aplicado una fórmula u otra en función de la asunción de las desviaciones típicas poblacionales).

Estas tres fórmulas se aplicarían a cada uno de los estudios que vayan a formar parte del meta-análisis. Sus resultados se pueden obtener fácilmente a través de una calculadora científica. Sin embargo, en pleno siglo XXI su uso se restringe a cuestiones pedagógicas y son los programas informáticos específicos los que hacen todo el cálculo de una manera automática.

Jacob Sierra Díaz 

Obtención de la diferencia de medias no estandarizadas D

Uno de los ingredientes esenciales de cualquier meta-análisis es el tamaño del efecto [effect size en inglés]. Dependiendo de la naturaleza de la investigación, emplearemos distintos tipos de tamaños del efecto. Uno de los más empleados en la literatura científica es la diferencia de medias, ya que la mayoría de los artículos publicados en revistas relevantes reportan medias y desviaciones típicas. Los tamaños del efecto basado en medias [effect size based on means en inglés] son un conjunto de procedimientos y fórmulas que se emplean para obtener tamaños de efectos basados principalmente en las medias, desviaciones típicas y tamaño muestral de cada uno de los estudios susceptibles a ser analizados cuantitativamente.

Dentro de esta gran categoría, existe un tipo de meta-análisis que se puede efectuar sin la necesidad de estandarizar la diferencia de medias de cada uno de los artículos objetos de estudio. Este procedimiento se conoce como diferencia de medias no estandarizadas o crudas (D) [Raw -unstandardized- mean difference (D) en inglés]. Pero para ello, se debe cumplir que todos los estudios (sin excepción) tienen que emplear la misma medida y escala. Por ejemplo, podremos aplicar la D cuando tenemos un conjunto de artículos científicos que reportan el rendimiento de un examen de selectividad (ya que tanto los criterios y puntuaciones del examen de selectividad son comunes a los artículos seleccionados). Otro ejemplo sería aplicar la D para un meta-análisis que tenga estudios médicos sobre la presión sanguínea (ya que, nuevamente, el criterio y la escala de la presión sanguínea es común en todos los estudios).

Por supuesto, la diferencia de medias (no estandarizadas) se aplicará en investigaciones que informen de las medias de dos grupos, que normalmente son grupo control y grupo experimental. Siendo μ₁ y  μ₂ las verdaderas medidas de la población del grupo 1 y grupo 2, la diferencia de medias de la población [population mean difference en inglés] será:

Δ =  μ1 - μ2

Nótese que la dirección del efecto es arbitraria. De ahí que denominemos a cada grupo como 1 y 2 o como A y B y no como Control o Experimental. Es decir, que μ₁ puede corresponder con el grupo control o experimental y μ₂ puede ser el grupo control y experimental. Por este motivo, cuando se efectúa un meta-análisis se tiene que dejar claro qué grupo irá a μ₁ y cual lo hará en el  μ_2.

Sin embargo, como ya se sabe, es muy improbable trabajar con los datos de toda la población. Si delta es el parámetro de la diferencia de media entre dos poblaciones, D es su correspondiente estimador para muestras. De esta forma, los estimadores que se usan para esta tipología de tamaños del efecto son conocidos como índices D.  En líneas generales, aplicaremos distintas fórmulas en función del tipo de diseño de cada uno de los estudios. Aquí veremos cómo obtener dicho tamaño del efecto en dos tipos de estudios bien conocidos:

Haz  clic en las siguientes imágenes para acceder a la explicación del procedimiento para obtener la deifica de medias no estandarizada (D) para los distintos tipos de estudios que existen:

Jacob Sierra Díaz y Tesis

Fórmula de la diferencia de medias no estandarizada (D)

Como su propio nombre indica, la diferencia de medias [mean difference en inglés] es una resta entre dos grupos de una misma investigación. A la hora de hacer un meta-análisis basado en medias y en dos grupos, ya sean estos independientes o relacionados, la diferencia de medias se usa como tamaño del efecto para la síntesis cuantitativa de los estudios objeto de estudio.

El parámetro de la diferencia de medias no estandarizadas [raw mean difference en inglés] en una población es:

Bien es sabido que un parámetro es muy complejo de obtener ya que implica conocer el valor de la variable (objeto de estudio) en todos los individuos de una población. Es por ello, que normalmente solemos trabajar con estimadores (del parámetro). Para diferencias de medias no estandarizadas  en dos grupos (independientes o relacionados) aplicaremos la fórmula D:

La dirección del efecto queda definida por el signo (+ o -) en el resultado final de D. Esta dirección del efecto o el orden de la diferencia de los grupos, esto es Xa - Xb o Xb - Xa, es arbitraria. Para estudios individuales no suele suponer ningún problema. Sin embargo, a la hora de efectuar las diferencia de medias no estandarizadas en distintos estudios, debemos usar el mismo criterio en todos los cálculos. Por ejemplo, pondremos los grupos experimentales en Xa y los grupos controles en Xb. Sería, por lo tanto, incorrecto si para un estudio computamos la diferencia de medias no estandarizada con el grupo experimental en Xb y con el grupo control en Xa. 

Jacob Sierra Díaz y Tesis

Fórmula de la varianza del tamaño del efecto (v)

Tanto la varianza del tamaño del efecto (v) como el error estándar (raíz cuadrada de la varianza) se emplea en los meta-análisis como medida de precisión que se incluye en los famosos gráficos forest plot. Precisamente en este tipo de gráficos usamos la varianza para construir el Intervalo de Confianza (suele establecerse al 95%) alrededor del tamaño del efecto estimado en cada uno de los estudios. 

Tal y como podemos ver en la siguiente fórmula, el valor de la varianza depende básicamente del tamaño muestras (n).

Entonces, podemos interpretar los resultados de la varianza del tamaño del efecto de la siguiente forma (Ahn et al., 2015):

• A mayor varianza de un tamaño del efecto (v), mayor es el Intervalo de Confianza (IC 95%) y menos preciso es el tamaño del efecto del estudio objeto de estudio.

• A menor varianza de un tamaño del efecto (v), menor es el Intervalo de Confianza (IC 95%) y más preciso es el tamaño del efecto.

Fuente bibliográfica

• Ann, S., Lu, M., Lefevor, G. T., Fedewa, A. L. & Celimli, S. (2015). Application of meta-analysis in sport and exercise science. In N. Ntoumanis & N. D. Myers (Eds.), An introduction to intermediate and advanced statistical analyses for sport and exercise scientists (pp. 233-253). Wiley.

Jacob Sierra Díaz

Ejemplo de cálculo de la g de Hedges (FM/001/04-2021)

Anteriormente vimos la fórmula g de Hedges para estimar el tamaño del efecto en dos grupos [pulsa aquí para acceder a la explicación de la fórmula]. Hoy veremos un ejemplo práctico que permitirá comprender cómo se aplican las fórmulas. Al finalizar el ejemplo, y una vez comprendido el procedimiento, aprenderemos una aplicación para calcularlo de una manera automática. Para este ejemplo, se empleará una calculadora científica CASIO Classwiz fx-83GTX.

Caso práctico

El objetivo principal de un estudio empírico fue el de analizar el nivel de motivación autodeterminada con alumnos de Educación Física a través de la comparación de dos intervenciones distintas: aplicación de metodologías docentes activas y aplicación de un estilo de enseñanza tradicional. A su vez, la muestra del estudio se dividió en dos grupos: grupo experimental, que experimentó la aplicación de las metodologías docentes activas (n = 112) y grupo control, que experimentó la aplicación de una enseñanza tradicional (n = 100).

Tras el análisis de los datos, el grupo experimental obtuvo una media en motivación autodeterminada de 28,58 puntos (Desviación Estándar -DE- = 2,03) y el grupo control obtuvo una media en motivación de 17,58 puntos (DE = 1,00). A continuación, se quiere calcular el tamaño del efecto con la corrección de Hedges.

Procedimiento

En primer lugar, debemos calcular la variabilidad unificada o desviación típica unificada (Su) mediante la siguiente fórmula:

Esta fórmula se puede adaptar a la calculadora científica para que obtenga el resultado rápidamente:

También es posible calcularla en un folio de papel:

Con el datos de la desviación típica unificada (Su) ya podemos aplicar la fórmula de la g de Hedges.

Solución final

El tamaño del efecto [effect size en inglés], calculado a papel con redondeo (imágenes superiores), de los resultados obtenidos en esta investigación sobre la motivación autodeterminada con la corrección de Hedges es aproximadamente g = 6,79. Si esta misma operación se realiza automáticamente con la calculadora científica (sin redondeo) la solución será mucho más precisa (g = 6,757732641 ó g = 6,75).

Podemos realizar automáticamente este problema introduciendo los datos de la investigación en una calculadora del tamaño del efecto que se puede encontrar online. En este caso, usaremos el recurso en línea de Statology: Calculadora online g de Hedges - Statology (Clic aquí).

Jacob Sierra Díaz

Fórmula de la g de Hedges (tamaño del efecto)

En general, la utilización de una medida estandarizada se emplea para hacer desaparecer las unidades de medidas y así permitir la combinación de los estudios para realizar un meta-análisis. Sería algo así como convertir ocho "peras" en "frutas" y diez "manzanas" en "frutas" para poder sumarlas en dieciocho "frutas". Las medidas estandarizadas se emplean en los meta-análisis en forma de tamaños del efecto para poder obtener el efecto global de los estudios que forman parte del análisis.

Existen distintos procedimientos para obtener el tamaño del efecto. A la familia de fórmulas y estadísticos de las diferencias de medias estandarizadas (d) también se le conoce como índice d. Hoy veremos la corrección de Hedges, también llamada g de Hedges: 

La principal diferencia de la g de Hedges frente a otras estimaciones del tamaño del efecto radica en el cálculo de una desviación estándar sin asumir la igualdad de varianzas. Esto permite que la variabilidad (desviaciones típicas) y tamaño del efecto (n) de cada grupo tenga en cuenta la estimación del tamaño del efecto, siendo menos sesgada que la delta de Glass cuando no se asume igualdad de varianzas.  A esta Varianza Unificada (Su) se le conoce en inglés como SPooled  y en muchos manuales también se le denomina Desviación Típica Común o Unificada. Como se acaba de ver, es necesario calcularla previamente para obtener el valor final de la g de Hedges.

El resultado de la diferencia de medias estandarizadas (d), en este caso mediante la corrección de la g de Hedges, se suele usar como tamaño del efecto para representar la diferencia del outcome (resultado objeto de estudio) entre el grupo control y el grupo experimental de un estudio en una medida estándar. Con esta "traducción" podremos comparar los estudios que tengan el mismo outcome.

Jacob Sierra Díaz

Validez de las herramientas de medición

Anteriormente hemos visto que cualquier herramienta de medición debe ser fiable para poder llevar a cabo una determinada investigación. No hay que olvidar que una medida fiable [reliable measurement en inglés] no es sinónimo de una alta calidad de la misma. Para ello, dicha herramienta debe presentar una adecuada validez. Podemos definir validez [validity en inglés] como el grado en el que un instrumento mide realmente lo que debe medir. 

Si tomamos por ejemplo un matraz de Erlenmeyer, como el que vemos en la siguiente imagen, este podrá medir adecuadamente los mililitros (ml) del líquido que le metamos. Por lo tanto, el matraz presenta una excelente validez para medir precisamente el volumen de los líquidos equivalentes a la milésima parte de un litro. Seguramente si usásemos un baso de una cocina corriente sin escala de ml en el laboratorio, la medida "no sería válida" (de hecho usaríamos estas palabras literales) y, por lo tanto, diremos que el vaso de beber agua no es un instrumento válido para medir el volumen de un líquido. Como ya se ha indicado en entradas anteriores, el concepto de validez no es tan intuitivo en otro tipo de instrumentos de medida como las encuestas.

Sin embargo, la validez no es una propiedad intrínseca del test, instrumento o herramienta de medida, sino más bien de la propia interpretación de lo que ese instrumento está midiendo (Cook y Beckman, 2006). Los resultados de un instrumento serán válidos cuando las interpretaciones son justificables en el seno (o contexto) de lo que la herramienta va a medir (Kimberlin y Winterstein, 2008). Entonces, las conclusiones que se van a extraer de los resultados del instrumento de medida deben estar basadas en lo que la evidencia teórica del momento pueda sostener en la interpretación final del resultado. De esta forma, no es de extrañar que las interpretaciones divergentes se deban también que tener en cuenta (Messick, 1989).

Validar un instrumento de medida nos es otra mas a que establecer un nexo profundo y estable de los resultados obtenidos (con el instrumento) y el estado del arte de la teoría que sustenta su uso [theory-based assumptions en inglés]. En consecuencia, se debe partir siempre de la premisa que el constructor objeto de análisis nunca será perfectamente reflejado por un test "perfecto" en el que el objetivo es establecer ocrrelancioens entre los ítems tan altas como sean posibles (Cook y Beckman, 2006).

La validez es a su vez un constructo complejo o multifacético. De manera general existen tres enfoques principales para inspeccionar la validez de los instrumentos que se van a usar en las investigaciones: la validez de contenido, la validez de constructo y la validez de criterio.

Validez de contenido - Content validity

La validez de contenido describe el alcance en el que los items de una escalas representan "fielmente" el constructo que el instrumento quiere medir para que, precisamente, las medidas sean relevantes (Almanasreh et al., 2019).

Normalmente para evaluar la validez de contenido se emplean paneles de expertos en la materia que indican qué cuestiones son relevantes para un determinado constructo. Además, una vez elaborado los ítems candidatos que formarán el instrumento de medida, serán evaluados por una puntuación numérica por dicho panel de expertos para así obtener el Índice de Validez de Contenido [Content Validity Index (CVI) en inglés].

La validez de contenido se suele tener en cuenta incluso antes de haber creado el instrumento de medida. Esto hace que de manera externa al grupo de creación del instrumento sea muy complicada su evaluación.

Validez de constructo - Construct validity

Este tipo de validez fue introducido por primera vez por Cronbach y Meehl en 1955. Se define como el grado de concordancia entre los resultados de la medida y la teoría establecida que la sustenta. De este modo, la validez de constructo "obliga" a tener en cuenta que el instrumento mida todas las facetas (conocidas) del concepto objeto de estudio (esto es: el constructo) de una manera adecuada.

Gracias a la validez de constructo, mejoramos la visión de la validez ante cualquier instrumento. Ahora ya no solo tenemos que observar si el instrumento en cuestión mide exactamente lo que debe medir, sino que además debe estar en armonía con la red nomológica con otros constructos teóricamente relacionados.

Para evaluar la validez de constructo se realizan análisis estadísticos de correlaciones con varias medidas. El patrón de correlación resultante ofrece información sobre el grado de conformidad entre la medida global y las variables predictivas teóricas (Westen y Rosenthal, 2003). A su vez, la validez de constructo se compone de dos grandes bloques: la validez convergente y la validez discriminante.

• Validez convergente [Convergent validity en inglés]. Tipo de validez que se da cuando los distintos instrumentos de medida que dicen medir el mismo constructo correlacionan alto con cada uno de ellos. En otras palabras, es la prueba que confirma que los constructos que se esperen que estén relacionados, realmente lo estén.

• Validez discriminante [Discriminant validity en inglés]. Tipo de validez que se se da cuando los distintos instrumentos de medida que dicen medir constructor distintos no correlacionan entre sí. Es decir, se trata de la prueba que confirma que los constructos que no deberían tener ninguna relación, realmente no la presenten.

Validez de criterio - Criterion validity

Por último, la validez de criterio mide la relación entre una variable externa, un índice o un indicador del concepto que se está midiendo con el propio instrumento de medida (Guirao-Goris et al., 2016). Dicho de otro modo, para que un instrumento adquiera una adecuada validez de criterio, debe tener un alto grado de confirmada con criterios prácticos, relevantes y externos. 

Dentro de esta validez se asume, por tanto, que el instrumento no puede considerarse como algo aislado, sino más bien como algo que está en relación con otras variables significativas.

Fuentes bibliográficas

• Almanasreh, E., Moles, R., & Chen, T. F. (2019). Evaluation of methods used for estimating content validity. Research in Social and Administration Pharmacy, 15, 214-221. https://doi.org/10.1016/j.sapharm.2018.03.066

• Cook, D. A., & Beckman, T. J. (2006). Current concepts in validity and reliability for psychometric instruments: theory and application. The American Journal of Medicine, 119(2), 7-16. https://doi.org/10.1016/j.amjmed.2005.10.036

• Guirao-Goris, S. J. A., Ferrer Ferrándiz, E., y Montejano Lozoya, R. (2017). Validez de criterio y de constructo del diagnóstico de enfermería" estilo de vida sedentario" en personas mayores de 50 años. Revista Española de Salud Pública, 90, 1-9.

• Kimberlin, C. L., & Winterstein, A. G. (2008). Validity and reliability of measurement instruments used in research. American Journal of Health-System Pharmacy, 65(23), 2276-2284. https://doi.org/10.2146/ajhp070364

• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (pp. 13 -103). America Council on Education & Macmillan

• Western, D., & Rosenthal, R. (2003). Quantifying construct validity: two simple measures. Journal of Personality and Social Psychology, 84, 608-618. https://doi.org/10.1037/0022-3514.84.3.608

Jacob Sierra Díaz

Consistencia interna de las herramientas de medición

Una de las técnicas más populares en la evaluación estadística de la fiabilidad de un instrumento o herramienta de investigación es la consistencia interna [internal consistency en inglés]. Se trata de una estimación del grado en el que los ítems de una escala miden el mismo concepto de una manera adecuada (Drost, 2011). 

Por ejemplo, una regla milimetrada que acabamos de comparar en una papelería presentará, como norma general, una alta consistencia interna. Tal y como podemos observar en la siguiente imagen, si comparamos el primer centímetro de la regla con el siguiente centímetro no nos extrañaremos ver que son exactamente iguales. Si comparamos todos los centímetros de la regla, veremos que son iguales. Por lo tanto, podemos concluir que nuestra reglar presenta una excelente consistencia interna ya que los ítems de la escala (los centímetros) miden exactamente lo mismo.

Pero la consistencia interna no es tan obvia en escalas o herramientas para observar determinados constructos humanos o de cualquier otra rama del conocimiento que no sea pura. Para entender el concepto de consistencia interna en forma de cuestionarios supongamos que queremos averiguar si a las personas de la generación de 1986 les gusta tocar la guitarra. Para ello, creamos un cuestionario con varios ítems. Imaginemos que un participante tiene como hobbie tocar la guitarra y en el ítem 1 ha declarado estar "totalmente de acuerdo" en: me gusta tocar la guitarra, en el ítem 2 ha expresado estar "totalmente de acuerdo" en: se me pasa el tiempo volando cuando toco la guitarra y en el ítem 3 ha expresado estar "totalmente en desacuerdo" en: me parece una pérdida de tiempo tocar la guitarra. En este ejemplo podemos observar cómo todos los ítems están orientados a obtener una conclusión sólida sobre la afición de tocar la guitarra. Como los ítems producen resultados similares (y no contradictorios) podemos decir que seguramente* nuestro cuestionario presenta una buena consistencia interna. (*) Decimos "seguramente" porque no hemos empleado técnicas estadísticas, como las que veremos a continuación, para obtener esta conclusión.

Tradicionalmente, la consistencia interna se viene evaluando con la famosa alfa de Cronbach [Cronbach's alpha en inglés, α matemáticamente hablando] (Cronbach, 1951). El valor alfa (α) se obtiene por el método de división por mitades [split-half method en ingles]. Básicamente se divide los resultados de la medida obtenida por el instrumento objeto de análisis entre dos partes aleatorias. A continuación, se obtiene la correlación entre la suma de las puntuaciones de cada parte (aleatoriamente divida) y se obtiene una media de la fiabilidad entre la división de las partes. Pero para poder inferir la fiabilidad de todo el instrumento, se precisa estimar una corrección estadística (Revelle y Zinbarg, 2009).

• La idea más importante del alfa (α) de Cronbach es la interpretación de su resultado. En términos generales, el alfa (α) es un valor que está principalmente entre el 0 y 1. Además, también pueden existir alfas negativos cuando algunos ítems de las escalas están negativamente correlacionados entre sí (Vaske et al., 2017).

• Muchos manuales de Estadística prefieren no ofrecer una interpretación detallada del alfa (α) porque puede influir a los aprendices a realizar interpretaciones no adecuadas en términos de cómo de alto debe ser el valor para poder concluir que la herramienta puede catalogarse como fiable [reliable en inglés]. 

• Como norma general, se acepta que valores de alfa (α) que oscilan entre 0,65 o 0,80 (dependiendo de la rama de conocimiento) hasta 0,90 pueden indicar una fiabilidad adecuada del instrumento que se ha evaluado.

• En Ciencias Sociales se aceptan valores superiores a 0,70 como referencia para una adecuada fiabilidad del instrumento que se haya evaluado.

• Un valor alfa mayor que 0,90 puede estar indicando redundancia de los ítems que componen la escala. Este hecho puede indicar que hay bastantes ítems que están midiendo exactamente el mismo factor o característica pero usando otro tipo de palabras o expresiones.

• En caso de que una escala se componga de varios factores o componentes de un mismo constructor, estos deberán ser evaluado independientemente.

Fuentes bibliográficas

• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334. https://doi.org/10.1007/BF02310555

• Drost, E. A. (2011). Validity and reliability in Social Sciences research. Education Research and Perspectives, 38, 105-123.

• Revelle, W., & Zinbarg, R. E. (2009). Coefficients alpha, beta, omega, and the gab: comments on Sijtsma. Psychometrika, 74, 145-154. https://doi.org/10.1007/s11336-008-9102-z

• Vaske, J. J., Beaman, J., & Sponarski, C. C. (2017). Rethinking internal consistency in Cronbach's alpha. Leisure Sciences, 39(2), 163-173. https://doi.org/10.1080/01490400.2015.1127189

Jacob Sierra Díaz

Fiabilidad de las herramientas de medición

El concepto de fiabilidad [reliability en inglés] es muy importante cuando se emplean instrumentos de medida en investigaciones rigurosas para poder obtener conclusiones precisas. Para explicar este importante término, vamos a tomar como ejemplo el uso de un cronómetro para medir una prueba de velocidad en atletismo. 

Imaginemos que esta prueba de velocidad se hace en un país del continente europeo y, a su vez, se está repitiendo en un país del continente africano. Para ello se están usando dos cronómetros del mismo modelo y características. Al finalizar las pruebas, cabría esperar que los dos instrumentos hayan obtenido el mismo resultado, siempre y cuando se hayan dado las mismas condiciones. Dicho de otro modo y observando la siguiente ilustración, si un corredor autómata y gran experto que siempre clava su tiempo en 14 segundos repitiese la misma prueba bajo las misma condiciones de temperatura, humedad, material de la pista, etc en los dos continentes; los cronómetros que se hayan usado deberían medir exactamente 14 segundos. Si por ejemplo, un cronómetro marcase un valor de 30 segundos en lugar de 14 segundos (que es lo que realmente ha tardado el corredor en acabar la prueba) no sería ni un instrumento ni una medida fiable [unreliable en inglés]. El cronómetro defectuoso tiene un gran error de medición [measurement error en inglés]. Entonces, como los cronómetros miden con precisión los segundos y mili segundos independientemente de los modelos a emplear, diremos que el cronómetro es una herramienta fiable para medir esta prueba.

La fiabilidad  [reliability en inglés] se puede definir como la consistencia de un instrumento de medida (Schuurman y Hamaker, 2019). Esta breve definición indica que un instrumento o herramienta, como el caso del cronómetro, es fiable cuando tiene un mínimo o nulo error en la medición. Volviendo al ejemplo anterior, tal y como hemos visto, el cronómetro es fiable [reliable en inglés] porque medirá los segundos de manera adecuada y precisa en cualquier prueba llevada a cabo en cualquier parte del mundo.

Entonces, podemos decir que una medida es fiable cuando se obtiene el mismo resultado bajo las mismas condiciones de medición del constructo (Heale y Twycross, 2015). Siguiendo con ejemplo anterior, si usamos dos cronómetros para medir la prueba de un corredor, estos deberán de dar el mismo resultado (siempre y cuando se hayan accionado y parado a la vez).

El concepto de fiabilidad se entiende muy bien en instrumentos o medidas "objetivas" como son los cronómetros o la magnitud de segundo. Sin embargo, en investigación no siempre se usan herramientas en las que asumimos una fiabilidad "tan estable". La fiabilidad se vuelve más compleja con instrumentos como los cuestionarios o las escalas de medida psicológicas (entre otras ramas de estudio). Si bien nadie suele dudar de la fiabilidad de un cronómetro, las escalas humanas de investigación deben ser evaluadas en términos de fiabilidad. Por ejemplo, una escala de motivación puede ser o no fiable para medir el constructo de motivación autodeterminada en una población de estudiantes universitarios.

En la mayoría de investigaciones de carácter social o sanitario (entre otras ramas de conocimiento) se emplean instrumentos ad hoc. Normalmente suelen ser escalas compuestas por varios ítems que abordan algún aspecto importante del constructo objeto de estudio. Para este tipo de instrumentos se hace preciso evaluar el concepto de fiabilidad a través de la Estadística. Los valores estadísticos de las mediciones de nuestros instrumentos nos informan de hasta qué punto lo que estamos usando para medir el constructo está libre de errores de medición y puede ser replicado en otra parte del mundo. En términos generales, existen tres principales procedimientos para poder evaluar la fiabilidad de las mediciones asociadas a las herramientas de toma de datos:

• Procedimiento o test de fiabilidad paralelo [parallel test reliability en inglés]. Para este procedimiento se emplean dos versiones del instrumento objeto de análisis de la fiabilidad que se presentan a los participantes varias veces.  Normalmente, las dos versiones del instrumento suelen cambiar la sintaxis de los ítems o incluso el orden de los mismos. Al acabar la recogida de datos con los dos instrumentos se comparan las medidas de ambas escalas y se evaluan las posibles diferencias.

• Procedimiento de fiabilidad test-retest [test-retest reliability en inglés]. A diferencia del procedimiento anterior, usamos una única versión del instrumento que se proporciona a los participantes varias veces en momentos de tiempo distinto. Al acabar la recogida de datos, se comparan las medidas del instrumento en función del momento en el que se haya respondido y se evalúa las posibles diferencias. 

• Procedimiento de división por mitades [split-half reliability en inglés]. Para este procedimiento se dividen al azar las mediciones o los elementos del instrumento (por ejemplo los factores de una escala) en dos grandes grupos. A continuación, se analiza la correlación entre los dos grupos. Este procedimiento asume que la herramienta que debe medir el constructo deseado se haga consistentemente en todos los ítems que forma la herramienta (Cho, 2016).

Fuentes bibliográficas

• Cho, E. (2016). Making reliability reliable: a systematic approach to reliability coefficients. Organizational Research Methods, 19, 651-682. https://doi.org/10.1177/1094428116656239

• Heale, R., & Twycross, A. (2015). Validity and reliability in quantitative studies. Evidence-based Nursing, 18, 66-67. https://doi.org/10.1136/eb-2015-102129

• Schuurman, N. K., & Hamaker, E. L. (2019). Measurement error and person-specific reliability in multilevel autoregressive modeling. Psychological Methods, 24, 70-91. https://doi.org/10.1037/met0000188

Jacob Sierra Díaz

Pasos de Cooper para elaborar un meta-análisis

En determinadas ocasiones, cuando nos enfrentamos a desafíos nuevos, nos surge una duda muy habitual: ¿por dónde empezar? La elaboración de un meta-análisis no es una excepción. Por este motivo, ya en el año 1984, Harris Cooper propuso cinco "sencillos" pasos para orientar a los investigadores a elaborar revisiones y síntesis cuantitativas de una manera rigurosa y sistemática sin que faltase ningún elemento importante. 

Fuente bibliográfica

• Cooper, H. (1984). The integrative research review: a systematic approach. Sage.

Concepto básico de "media"

La media es una medida de centralización o de tendencia central muy conocida en Estadística. La mayoría de procedimientos de esta apasionante rama de las matemáticas emplean la media para obtener conclusiones. Hoy vamos a repasar dos tipos de medias:

Media aritmética

Es la suma de todos los datos (xi) partido por el número total de datos que interviene (n). Corresponde con la primera fórmula de la siguiente imagen.

Si los datos se presentan en una tabla de frecuencias, la media aritmética se calcula multiplicando cada valor (xi) por el número de veces que se repita dicho valor (ni) dividió por el total de datos que forman la muestra (n). Corresponde con la segunda fórmula de la siguiente imagen.

Cuando se habla del valor de la media aritmética de la población, se representará con la letra griega mu (μ). Como normalmente se emplea un estimador de la media en una muestra de la población, se expresa con la letra de la fórmula de arriba. 

La media viene expresa en la misma unidad que la variable objeto de cálculo. Entonces, si por ejemplo, la variable emplea la unidad de kilogramos (kg), la media aritmética también está expresada en kg. 

Cabe destacar que una medida de tendencia central (como es la media aritmética) debe ir siempre acompañada de una medida de dispersión que nos hable de la significatividad del resultado (en este caso de la media aritmética). Normalmente, las medias aritméticas suelen ir acompañadas de la desviación típica. 

Media ponderada

Procedimiento que consiste en otorgar a cada observación del conjunto de datos (xi) unos pesos específicos (pi) según la importancia de cada uno de los datos (xi).

En realidad, la media aritmética es un caso particular de media ponderada en la que todos los pesos son 1, porque en la media aritmética todos los elementos se les otorga la misma importancia.