I have the scores of the participants in both groups control and experimental in the pretest and in the posttest (after the treatment in the experimental group). It is a cuasiexperimental design, but I´m not sure which statistic I should use (ANCOVA, ANOVA with change scores....)
2 paired sample t-tests, 2way ANOVA, or difference of difference calculations.
Hope this helps,
Matt
Estimado Joaquín,
No sé si llego a tiempo y, por tanto, ya habrás resuelto esta cuestión. No obstante, te comento lo que haría en tu lugar:
1. Comprobar la normalidad de los datos con el test de Kolmogorov Sminirnov.
2. Si los datos cumplen el supuesto de normalidad, aplicar t de Student para muestras independientes. Esto te permitiría analizar la equivalencia de ambos grupos (control y experimental) en la fase pretest, es decir que parten desde el mismo nivel, y la diferencia entre los mismos en la fase postest. En caso de que no cumplan dicho supuesto, optar por la prueba U de Mann Whitney.
3. Igual que el punto anterior, si existe distribución normal aplicar t de Student para muestras pareadas. Ello se realiza para analizar la significatividad de las diferencias entre la fase pre y postest (sobre todo en el grupo experimental). En caso de no cumplir normalidad, optar por el test no paramétrico W de Wilcoxon.
Espero que sea de ayuda.
Un cordial saludo.
Gracias David, los consejos nunca llegan tarde,
la muestra es relativamente pequeña así que al final apliqué la prueba de normalidad de Shapiro-wilk. Los datos se ajustan a la normal, como bien dices una t de student para muestras independientes parece resultar una buena opción. Sin embargo finalmente opté por un contraste de medias en las puntuaciones diferenciales (restando la puntuación del pretest a la del posttest tanto en el grupo control como experimental), aplicando una ANOVA.
Estimado Joaquin Ayerbe
Intuyo que su muestra proviene de grupos intactos. Dado que no existe una asignación aleatoria de la muestra a un grupo experimental y otro control, la única forma de saber con certeza en qué medida la diferencia entre los grupos en el post-test es atribuible a la intervención (y no a diferencias existentes entre los grupos antes de la intervención), es realizar un análisis de la convarianza (ANCOVA), tal que la variable dependiente es el constructo objeto de estudio, la independiente el grupo (control vs. experimental) y la covariable el pretest.
El ANCOVA tiene más poder estadístico que una ANOVA sobre las puntuaciones diferenciales que menciona, y mucho más que las clásicas t de Student o el test de Wilcoxon, recomendadas previamente. Existen estudios tan longevos como el de Dugard & Todman (1995), que comparan ANOVA en la puntuación diferencial (método por el que usted se ha decantado finalmente) y ANCOVA, favoreciendo esta última.
Dicho esto, las respuestas anteriores han omitido el hecho de que su unidad de análisis es 2 (asumiendo 2 clases intactas). Por tanto, de entrada, la estadística paramétrica debería estar descartada, con independencia de la normalidad de los datos, aunque esto es pan para otro día.
Un cordial saludo,
Bogdan
Dugard, P., & Todman, J. (1995). Analysis of pre-test-posttest control group designs in Educational research. Educational Psychology: An international Journal of Experimental Educational Psychology, 15(2), 181-198.
________________________________
Dear Joaquin Ayerbe
I'm guessing your sample comes from intact groups. Since there is no random assignment of the sample to an experimental and control group, the only way to know with certainty to what extent the difference between the groups in the post-test is attributable to the intervention (and not to differences between the groups before the intervention), is to perform an analysis of covariance (ANCOVA), such that the dependent variable is the construct under study, the independent variable is the group (experimental vs. control) and the covariate is the pretest scores.
The ANCOVA has more statistical power than an ANOVA on the gain scores scores, and much more than the classic Student t-test or Wilcoxon test, previously recommended. There are old studies, such as that of Dugard & Todman (1995), which compare ANOVA on the gain score (method that you finally selected) and ANCOVA, favoring the latter.
Having said this, the previous answers have omitted the fact that your unit of analysis is 2 (assuming 2 intact classes). Therefore, parametric statistics should be discarded, regardless of the normality of the data. However, this is a completely different food for thought.
Kind regards,
Bogdan
- Badges
- Science topic
- Similar topics
- Correction