Què diríem si estem al quiròfan realitzant unes operacions exitoses del cor i truquen a la porta uns individus que mai han millorat el cor de ningú i ens proposen avaluar el que estem fent, dient-nos el que fem malament i com hem de corregir-ho? Això és el que fan la majoria de “avaluadors” que venen a les nostres escoles a aplicar “escales validades”. No és educatiu, ni ètic, ni científic posar a les seues mans a menors d’edat sobre els qui tenim responsabilitat, ni tampoc avalar a eixos impostors davant les famílies per tal que donen consentiment.

No ens deixem enganyar perquè s’autodenominen avaluadors o denominen al seu qüestionari escala validada o diguen que el que fan és avaluació. És significatiu que professionals que critiquen avaluacions institucionals com les proves de competències o PISA, que són criticables però transparents, creguen que eixes “escales validades” i “avaluadors” que no coneixem bé tinguen una espècie de màgia científica. En una recent publicació, en una revista que es finança amb recursos públics, els “avaluadors” ocultaven tot el que refutava la seua afirmació. Per exemple, mesurant (a la seua manera) l’evolució en només un curs, van afirmar que un projecte en un col·legi no mostrava millores en la prosocialitat, sense tindre en compte que este projecte havia estat implementant-se en el centre durant anys i que, fins i tot segons la seua escala (molt deficientment aplicada), ja havia aconseguit uns resultats molt elevats de prosocialitat.

Amb “escales validades” es fan preguntes que es comporten com a lents opaques en els centres que aconseguixen les majors millores educatives. Per exemple: “en un treball pràctic, incloc als qui no estan en cap grup?” Esta pregunta pot o no ser important quan en eixa aula queden xiquets o xiquetes fora del grup, però no en aules realment inclusives on això no ocorre. En realitat, les qüestions que inclouen en les seues “escales validades” qui les fan (quasi sempre amb un nivell científic baixíssim o nul) reflectixen les seues pròpies ocurrències i no el coneixement científic sobre el tema.

Les respostes negatives a eixes preguntes s’interpreten sovint com falta de prosocialitat, quan en realitat signifiquen que no hi ha ningú fora del grup. La ignorància d’estadística que així demostren els “avaluadors” “experts” en estadística arriba encara molt més lluny quan els resultats que els seus mesuraments obtenen en un sol centre els inferixen a milers de centres que seguixen eixe mateix projecte, sense adonar-se que així l’error mostral del seu estudi és molt superior al permés. I encara és pitjor l’atreviment quan dictaminen com s’ha de millorar eixe projecte sense que ells hagen aconseguit mai cap millora (no són pocs els casos en què estes persones s’aventuren a realitzar propostes “innovadores” que asseguren que sí que poden tindre resultats, des que la transferència es valora en els processos acadèmics d’acreditació).

Com que després presenten les seues arbitràries ocurrències sobre la nostra escola com a generalitzables a unes altres que seguixen els mateixos projectes, no sols perjudiquen el nostre alumnat sinó a l’alumnat de totes eixes escoles. Perquè algú que es presenta com a “avaluador” realment siga avaluador, ha de complir quatre requisits i, si no complix els quatre, no és ètic ni científic posar a les seues mans un alumnat menor d’edat:

  1. Capacitat: han de dir-nos en quina escola o escoles han millorat resultats i donar-nos evidències que ens permeten comprovar-ho. Si no saben donar-nos-en cap, el millor per al nostre alumnat és que responguem que primer aprenguen a millorar l’educació i només després podran dedicar-se a avaluar el que estem fent a la nostra escola. La veritat és que quasi cap dels “avaluadors” té ni capacitat ni motivació per a millorar l’educació i eixa és una de les raons que els porten a atribuir-se la funció d’avaluar als qui sí que ho estan fent.
  2. Impacte social: un claríssim criteri científic actual és l’impacte social. La “escala validada” que porten és simplement pseudociència si no ens diuen quines escoles han millorat resultats passant eixa escala ni ens donen evidències que ens permeten comprovar-ho.
  3. Cocreació: és un altre criteri mínim de la investigació científica actual. No és científica l’escala si no s’ha elaborat en cocreació, en diàleg entre totes les veus. No és científic el pas de la seua escala si no s’acorden tots els detalls entre totes les veus, com el professorat que està portant avant el projecte i també els qui el van crear.
  4. Rigorositat científica: és lamentable com ho fa la majoria. Sovint tenen errors tan elementals com considerar “validada” estadísticament una avaluació amb una mostra que dona un error molt superior a un 5%. Les seues equivocacions són similars a creure que el cor el tenim en la dreta i, al no saber o no voler trobar-ho, afirmar que eixe pacient no té cor.

By Ramón Flecha

Catedràtic Emèrit de la Universitat de Barcelona. Investigador número 1 del rànquing científic internacional Google Scholar en les categories de "gender violence" i "social impact" (violència de gènere i impacte social, respectivament).