Hello,
We designed a series of tests that aim to assess knowledge in first-year university students, and went through the process of validating each one of them (construct validity, through EFA, and reliability). They were designed to obtain information about how much students know on different topics at the moment they become university students (hence, how much they learned during highschool). This is so the university can adapt first-year courses to each generations' needs. In this context I would like to know if there is a "rule of thumb" regarding when should we update these tests? Say, like, in five years? Do scales or tests have an "expiration date"? What should we be monitoring to be able to say "ok, it's time we redesign our entry-level diagnostics tests so they're more sensitive to context"?
Most tests have the best resolution (= capability to detect small difference) in the middle range of the scale. If the distribution of skills in your population changes over time (e.g. Generation Z students are less motivated), the distribution of scores moves towards one of the two boundaries of the scale. If you find that test scores accumulate at the lower or higher end of the scale, it is time to adjust item difficulty.
Dear Camila, I don't think there's a specific timescale for use. Many psychological tests are decades old. The main issue is whether the language used still has the same meaning and if any context is still relevant.
I think if there is a change in syallabus of pre University courses then only you may go for validity of the test scale. Not otherwise. The test scale developed for some university may not be applicable for some other university. Pretesting of the scale is often a better choice.
Estimada Camila:
Le respondo en español porque, acorde con su información, es su lengua materna y mi contestación pudiera ser mejor expresada en ella, pues también es la mía.
Ya le han señalado tres puntos importantes: lo estadístico, la adecuación al contexto y la población, y los cambios generacionales. Con base en ello, es posible plantear una revisión pertinente cuando se aproxime un cambio de cohorte generacional y cuando se presenten desviaciones significativas en las puntuaciones que arroja la prueba (por motivos de confiabilidad, sobre todo).
Coincido en que no hay una regla sobre cuánto dura una prueba, y es verdad que hay unas que llevan muchos años en vigor, pero eso depende delos ítems explorados y los cambios que se pueden presentar en los mismos. Siendo así, en términos de generaciones, el lapso podría ser de veinte años (sí, veinte años), pero una revisión cada diez años no estaría nada mal, sobre todo porque ese lapso implica cuatro sucesos que pudieran incidir en los resultados de la prueba: modificaciones curriculares en el nivel medio superior (bachillerato), inclusión de herramientas de aprendizaje nuevas (de cualquier tipo), cambios en la política educativa correspondiente (con las consecuentes modificaciones de objetivos y fines de la educación), y revaloración de las necesidades a cubrir por parte de la formación profesional ofrecida (en términos del mercado y la sociedad, de los que serán beneficiarios del ejercicio profesional de los egresados).
Más allá de esto, es necesario mantener un control de validez y confiabilidad cada cinco años, en promedio, para asegurar la estabilidad de la prueba. Y, aunado a ello, si se toman decisiones con base en los resultados, este aseguramiento de la calidad de la prueba también resulta decisivo para descubrir si es necesaria una evaluación anticipada, de forma general y amplia.
Bueno, esta es mi opinión al respecto. Espero que le sea de utilidad.
¡Saludos desde México!
- Badges
- Science topic
- Similar topics
- Statistics
- Survey