En los procesos de evaluación y a la hora de la medición, la apreciación del valor de una propuesta o de los resultados de la misma cuando se involucran pensamientos, experiencias sociales o culturales suele plantear una clara disyuntiva. Consideramos los productos en una suerte de abstracción indiferenciada o, por el contrario, incluimos las representaciones, los esfuerzos para alcanzarlos, las sutiles diferencias en los procesos de elaboración, entre otras tantas cuestiones no menos importantes. Cualquiera sea el camino elegido quizás la advertencia que nos hacemos una y otra vez es, en la primera elección, la necesidad de la obtención de datos válidos y confiables para la elaboración de políticas y, en la segunda, la necesidad de atender los difíciles y complejos procesos de evaluación que incluyen a las personas y las consecuencias que tienen para ellas estos procesos.

La tradición interpretativa o la medición de resultados

	Münch, Mujer joven en la playa. La solitaria, 1896 ampliar +

Los evaluadores reconocen que los propósitos de la evaluación van a orientar perspectivas diferentes y, señalan el equívoco que se produce cuando se utiliza una perspectiva considerando que puede atender o explicar la otra. Se trata de lógicas diferentes que responden a necesidades e intereses diferentes. Ninguna de ellas puede, a la vez, brindarnos datos o explicaciones holísticas e integrales.

En la evaluación de los aprendizajes, distinguimos como una de las dificultades la consideración del tiempo de aprendizaje. Necesitamos que el o la estudiante ya no esté en el curso para saber cuánto de lo aprendido permanece, se puede transferir, utilizar. Otra de las dificultades es contar con instrumentos que permitan apreciar de manera singular los procesos cognitivos.

La elaboración de políticas o de programas diferentes, la corrección de proyectos o la formulación de una alternativa diferente se apoya en el conocimiento y la apreciación de las diferencias regionales o locales, el reconocimiento de la inequidad o desigualdad que, para su constatación, requieren criterios, la elaboración de estándares y datos que los contemplen. Las comunidades educativas deben participar, reconocer y apreciar los criterios y estándares, no para orientar los aprendizajes en su satisfacción, sino para entender y comprender el currículum en el que participan como proyecto de trabajo. En este panorama difícil se introducen nuevas dificultades cuando se asocia el término “calidad” a los procesos de aprendizaje dado que la calidad se basa en la apreciación de las bondades de objetos producidos o productos.

La evaluación de la calidad

La calidad de los productos requiere indicadores fiables pero si el producto es, tal como señalamos anteriormente, un aprendizaje, sería necesario atender a los contextos en los que se produjo, los actores y materiales implicados, las diferencias en los procesos y, esto es muy difícil de vislumbrar con instrumentos que se dirigen a la apreciación de los productos.           

	Münch, La niña enferma, 1889 ampliar +

Los proyectos educativos, las estrategias o dispositivos que elegimos o construimos para desarrollar una actividad de enseñanza, suelen ser descriptos o analizados por sus bondades, atractivos o sus consecuencias. Los estudiosos del sistema educativo preguntan a los diseñadores de estos proyectos o eventos cuáles son sus resultados. Ante estas inquietudes que nos llevan una vez más a sostener las dificultades por generar una descripción de valor, se nos reitera el interrogante: ¿con qué resultados? La preocupación por relacionar la inversión sostenida con los aprendizajes de los estudiantes y su comparación con otras inversiones y el desarrollo de un país no deja de ser la preocupación central de los analistas del sistema educativo. El proyecto PISA es un ejemplo de análisis a partir de estas preocupaciones.

El proyecto Pisa se define como un programa internacional orientado a la producción de Indicadores de Rendimiento de los estudiantes en tres áreas: lectura, matemática y ciencias. Intenta comparar los sistemas educativos de diferentes países brindado información en torno al rendimiento educativo de los estudiantes. El mayor desafío de este programa es la construcción de los indicadores relevantes para posibilitar medidas comparativas con sentido y sensibles para tener en cuenta las diferencias que cada uno de los países presenta. Evidentemente, es condición de las experiencias que incluyen a países diferentes la armonización de los programas con el objeto de crear un sistema fiable de indicadores. 
 
Ejemplos de indicadores pueden ser: días de escolaridad, tiempo de enseñanza por materia, gasto en educación en relación con el P.B.I, gastos por alumno, resultados de aprendizaje mediante pruebas de evaluación, relación inserción de graduados en el mercado de trabajo, número de profesores por cada 100 alumnos, relación numérica profesor alumno por nivel de enseñanza. El conjunto de indicadores y sus resultados podrían ser una muestra del funcionamiento de la educación en un momento dado.

Podríamos agrupar los indicadores por variables: los recursos financieros, el personal docente, el tiempo en la enseñanza, los resultados de aprendizaje, la relación profesión con el mercado de trabajo y muchos otros.

En las prácticas habituales que las y los docentes llevan a cabo en sus aulas a la hora de reflexionar respecto de su responsabilidad en la enseñanza se preguntan: ¿Qué debería saber un estudiante? ¿Cuál debería ser su rendimiento para considerarlo malo, regular, bueno, distinguido o excelente? Si la escuela es concebida como una comunidad de aprendizaje, los docentes buscarán construir acuerdos o consensos frente a estas preguntas y, una vez acordados, se constituirán los estándares que orientarán los esfuerzos y propondrán las plataformas del futuro para el trabajo cotidiano. Cada docente realizará acciones, construirá dispositivos, desplegará estrategias para satisfacer estos estándares y luego medir su logro. Los rendimientos se compararán, muy probablemente, al final de un proceso con estándares implícitos o con los rendimientos de un grupo de referencia: otros años, otros cursos, otras experiencias.
   

	Münch, Dos mujeres en la orilla, 1898 ampliar +

Recuerdo un estudio llevado a cabo por la Secretaría de Instrucción Pública de México en que los investigadores medían el clima del aula y lo hacían con tres indicadores para el conjunto del sistema. Esos indicadores se sostenían por medio de tres preguntas: ¿hay peleas en el aula? ¿tienes amigos en el aula? ¿tus compañeros te dejan trabajar?  Esos indicadores se asociaron al rendimiento y se reconoció que la respuesta negativa a la primera y positiva a los otras dos se correlacionaba con el buen rendimiento.

Los indicadores, como cualquier otra construcción, pueden o no ser relevantes. Y, en todos los casos, deberán ser consistentes con el propósito que pretenden medir. En las escuelas de antaño las y los docentes sostenían que adjudicaban un diez a los tres primeros alumnos que resolvían un problema matemático. En esos casos el indicador de velocidad era el dato de la mejor resolución. ¿Se utilizaba el ejercicio para que los alumnos se concentraran en él y una manera de hacerlo era estimular la velocidad o de verdad se creía que la velocidad era un indicador de un proceso valioso? ¿En los procesos complejos como son los creativos es posible elaborar indicadores fiables? ¿Cuáles son, por ejemplo, los indicadores de la calidad de una interpretación musical? Los críticos de arte, especialistas en la valoración, suelen diferir y utilizar indicadores diferentes para estas apreciaciones. Y volvemos a los interrogantes iniciales. En los casos en que necesitamos construir indicadores válidos requerimos consensos respecto de los marcos interpretativos que los sostienen.      

Sesgos, promesas y fantasías

	Münch, El día siguiente, 1895 ampliar +

La elaboración de políticas en la educación o su corrección requiere contar con datos elaborados a partir de claros indicadores que den cuenta del estado de la situación. Una vez construidos se contrastan con los indicadores de otras latitudes y con las realidades nacionales y regionales. Así, es posible medirlos mediante muestras representativas y no censos. Los métodos estadísticos permiten realizar apreciaciones del universo sin necesidad de la inversión de tiempo, costo y esfuerzo que requeriría la obtención de datos obtenidos mediante la totalidad de los individuos. 

Pero los datos de rendimiento educacional se pueden obtener y no relacionarse con las inversiones en educación, los programas de educación permanente, la infraestructura edilicia, los salarios y tantos otros indicadores. Sin esa relación, es probable que estemos construyendo una fantasía en torno al sistema educativo que de nada sirve para la elaboración de las políticas o su corrección.

Los indicadores pueden construirse para sesgar una realidad, esto es, mirando solamente una parte de ella. A veces, esto es fruto del desconocimiento de su complejidad y otras, un sesgo que se produce para mostrar, cual si fuera una totalidad, una parte de ella. Es como si dijéramos de una prenda de vestir que es de calidad porque está bien adaptada al cuerpo y no consideráramos que su textura es tosca, sus costuras visibles y su modelo inapropiado para la época del año en el que se pretende usar. Construir indicadores implica un desarrollo teórico y opciones concientes respecto de la teoría en la que se enmarcan.

Pretender abarcar la totalidad de un fenómeno es más una fantasía que una realidad. Hacerlo sin desentrañar las opciones que se tomaron es engañoso porque se ocultan puntos de vista, perspectivas teóricas, decisiones que se vinculan, a veces, con las facilidades o dificultades por acceder a los datos o el reconocimiento de la adopción de decisiones políticas que nada tienen ni tendrán que ver con los resultados de las mediciones.

Edith Litwin

Edith Litwin es Doctora en Educación por la Universidad de Buenos Aires, Profesora Titular Plenaria de la cátedra Fundamentos de Tecnología Educativa de la Facultad de Filosofía y Letras –UBA- y Directora de la Maestría en Tecnología Educativa de esa facultad.