El enfoque de revisión sistemática y metaanálisis PRISMA es ampliamente reconocido y utilizado en el ámbito científico, generalmente médico, para la síntesis de evidencia y evaluación de investigaciones científicas. Uno de los prerrequisitos, para no caer en errores importantes en su aplicación, es que las autorías que lo usen tengan conocimiento y empleen las evidencias científicas de impacto social en su ámbito. Esta cuestión se da en la investigación médica por su orientación clara a encontrar actuaciones de éxito, como las vacunas COVID que mejoran la salud en la práctica. 

En los últimos años es un enfoque que se ha comenzado a emplear también en otras áreas, incluyendo la investigación educativa (donde la mayoría de las autorías obvian las evidencias científicas de impacto social y actuaciones de éxito de su ámbito). En ese caso, los sistemas tipo PRISMA son mal utilizados de forma que, en lugar de hacer avanzar la ciencia y el derecho a la educación, los hacen retroceder. Ya uno de los mejores autores del aprendizaje cooperativo (Slavin), quien mejoró los resultados de un millar de centros educativos con su programa “Success for All”, criticó duramente a Hattie por decir que los programas de intervención no tenían éxito basándose en millones de datos entre los cuales no incluían precisamente los que sí daban éxito. Hattie ha logrado muchísimas citas científicas, pero no mejoras de resultados en las escuelas; en medicina y otras áreas, trabajos como ese no lograrían citas. Tampoco las lograrán en la investigación educativa cuando esta se oriente a la mejora de la educación.

PRISMA en concreto presenta limitaciones significativas debido a la restricción a términos de búsqueda específicos en títulos y resúmenes. El resultado de su aplicación depende de la excelencia con que se escojan los criterios de búsqueda. El proceso de selección de artículos puede resultar restrictivo, ya que no todos los trabajos científicos relevantes incluyen términos específicos en sus títulos o resúmenes; de hecho, se excluyen frecuentemente en educación artículos sobre las principales mejoras.

Este sesgo hacia ciertas palabras clave y determinados tipos de estudios puede llevar a una representación parcial de las evidencias existentes, limitando así la comprensión completa de un tema determinado. En medicina es impensable que se haga con PRISMA un artículo sobre vacunas COVID y no se incluyan las palabras relacionadas con el RNA mensajero. Sin embargo, en actuaciones que mejoran los resultados educativos, las autorías excluyen frecuentemente de su selección (que presentan equivocadamente como si fuera la selección de PRISMA) las actuaciones que más los mejoran, como por ejemplo los grupos interactivos. 

Cuando queremos investigar en educación no podemos mirar únicamente aquellos estudios que encajan con una palabra clave o un resumen, ya que estaríamos escondiendo la verdad y, a lo mejor, no estaríamos recogiendo correctamente las evidencias científicas. Por ello, es necesario superar estas limitaciones teniendo en cuenta aquellas investigaciones que contribuyen al avance social y que reflejan verdaderamente lo que funciona y lo que no. En este proceso, dialogar con otros científicos y científicas ayuda a construir un conocimiento científico más riguroso y en línea con la sociedad dialógica (Flecha, 2022), siguiendo principios como la cocreación y el impacto social.

[Imagen: Freepik]

Por Garazi Álvarez

Profesora e investigadora en Educación en la Universidad del País Vasco