107/365 · Cuando un docente hace un examen de "completar literalmente lo que dice el libro"... el problema no es la IA, es el para qué

Estos días he estado escribiendo mucho sobre privacidad, sobre datos, sobre consentimiento. Y todo eso es importante. Pero hay algo que me preocupa todavía más, y que tiene que ver con algo que escuché hace poco en una conversación informal con otros docentes. Me contaban una fórmula utilizada como examen sobre un libro que habían mandado leer en una asignatura: el docente planteaba una línea de texto del libro y el alumnado debía continuar o completar literalmente con lo que ponía el libro. Y me quedé pensando. ¿En serio? ¿Eso es evaluar la lectura? ¿Medir si alguien se ha aprendido líneas literales de memoria?

Y entonces me contaron otra cosa. Otros docentes han planteado propuestas como usar la IA conversacional para establecer un diálogo con un protagonista del libro. El alumnado que no leyó el libro o no tenía conocimientos sobre él, tenía dificultades para la conversación y en el historial se mostraba. Y ahí está la diferencia. En un caso, estás midiendo memoria literal. En el otro, estás midiendo comprensión, capacidad de diálogo, pensamiento crítico. Y la IA, en lugar de ser una amenaza, se convierte en una herramienta que permite detectar si realmente has entendido algo o no.

Pero el quid de la cuestión es otro: ¿para qué mandas leer un libro? ¿Qué buscas con él? Y esa pregunta, que parece tan obvia, se olvida constantemente. Y cuando la olvidas, da igual si usas IA o no. Porque si tu objetivo es que el alumnado memorice líneas literales, entonces la IA es una amenaza. Pero si tu objetivo es que comprendan, que piensen, que conecten ideas, entonces la IA puede ser una aliada. Y el sesgo no está en la herramienta. Está en cómo decides usarla. Y en para qué la usas.

Sesgos algorítmicos: no son solo técnicos, son pedagógicos

Y esto me lleva directamente al tema de hoy: los sesgos en la IA. Porque el sesgo algorítmico surge cuando los algoritmos generan resultados que presentan prejuicios sistemáticos, los cuales tienen su origen en suposiciones erróneas que son intrínsecas al proceso de aprendizaje automático. Y cuando lo aplicas a educación, los sesgos algorítmicos en la educación pueden tener repercusiones profundas, ya que los sistemas educativos cada vez más dependen de la inteligencia artificial para la toma de decisiones, y cuando los algoritmos están sesgados, pueden perpetuar desigualdades y discriminaciones preexistentes.

Un algoritmo que recomienda recursos educativos o admisiones a programas podría favorecer inadvertidamente a estudiantes de ciertos grupos sociodemográficos sobre otros, basándose en los datos con los que fue entrenado.

Tipos de sesgos que aparecen en el aula (y cómo detectarlos)

Y aquí está lo importante: existen varias medidas que se pueden tomar para mitigar los sesgos algorítmicos en la educación, pero primero hay que implementar procesos de auditoría y revisión para identificar y eliminar sesgos de los sistemas de IA. Y para auditar, primero tienes que saber qué buscar. Porque los sesgos algorítmicos en educación se manifiestan de formas muy concretas:

Sesgo de selección o datos sesgados: Ocurren cuando los datos utilizados para entrenar el sistema de IA no son representativos de la población objetivo. Por ejemplo, si entrenas un sistema de recomendación de lecturas con datos de alumnado de centros privados de élite, ese sistema va a recomendar contenidos que encajan con ese perfil. Y el resto del alumnado se queda fuera.

Sesgo de codificación: Se introducen cuando los desarrolladores del sistema de IA incorporan sus propios sesgos en el diseño del sistema. Y esto pasa constantemente. Porque la mayoría de desarrolladores de IA son hombres, blancos, de contextos socioeconómicos altos. Y eso se refleja en cómo diseñan las herramientas.

Sesgo de amplificación: Se producen cuando el sistema de IA amplifica los sesgos presentes en los datos con los que se entrenó. Es decir, si los datos ya tienen prejuicios, el algoritmo los va a multiplicar. Y eso es exactamente lo que pasa con sistemas de evaluación predictiva que marcan a ciertos perfiles como "de riesgo" basándose en datos históricos que reflejan desigualdades sistémicas.

Sesgo en sistemas de evaluación automática: Los sistemas de calificación de ensayos automatizados penalizan a los estudiantes cuya escritura no coincide con los datos de capacitación, y los estudiantes que usan o escriben como estudiantes multilingües reciben constantemente puntuaciones más bajas. Estás penalizando al alumnado no por lo que saben, sino por cómo lo expresan. Y si su forma de expresarse no encaja con el "estándar" con el que se entrenó el algoritmo, entonces suspenden. Aunque su comprensión sea perfecta.

Ejemplos reales que pasan en educación

Los algoritmos que predicen el éxito de los estudiantes podrían mostrar un sesgo algorítmico, marcando incorrectamente a ciertos grupos de estudiantes (por ejemplo, estudiantes negros o latinos) como "en riesgo" de fallar, incluso cuando tienen éxito. Y un estudio encontró que tales modelos producían "falsos negativos" para el 19 % de los estudiantes negros y el 21 % de latinos, lo que significa que la IA predijo que fracasarían cuando realmente obtuvieran títulos de licenciatura. Y esto no son casos aislados. Los algoritmos de calificación de la pandemia en Inglaterra revelaron grandes desigualdades cuando las calificaciones previstas reemplazaron a los exámenes: las calificaciones aumentaron en las escuelas privadas ricas y cayeron en las escuelas públicas. Es decir, un algoritmo que se suponía que iba a ser "objetivo" acabó reproduciendo exactamente las desigualdades de clase que ya existían. Y amplificándolas.

Y luego está el sesgo en herramientas de recomendación. Estas herramientas pueden recomendar recursos educativos a los estudiantes, pero a menudo se basan en estereotipos y sesgos. He visto sistemas que recomiendan actividades de ciencias a niños y actividades de lengua a niñas. Sin preguntarles. Sin darles opción. Simplemente reproduciendo el estereotipo de que "los niños son mejores en ciencias".

El ejemplo del libro

Y volviendo al principio: cuando un docente hace un examen de "completar literalmente lo que dice el libro", el problema no es la IA. El problema es que ese docente ha olvidado para qué mandaba leer el libro. Porque leer no es memorizar. Leer es comprender, es conectar, es pensar. Y si tu forma de evaluar la lectura es pedir que repitan líneas literales, entonces estás evaluando memoria, no comprensión.

Y cuando otro docente usa IA para crear un diálogo con el protagonista del libro, lo que está haciendo es evaluar si el alumnado ha comprendido al personaje, si puede inferir cómo pensaría, cómo actuaría.. Y ahí, la IA no es una trampa. Es una herramienta que permite que el alumnado demuestre su comprensión de formas que antes no eran posibles.

Seguimos pensando en la IA como mal mayor o mal menor (y nos olvidamos de lo esencial)

Y esto es lo que más me preocupa: que seguimos pensando en la IA como mal mayor o mal menor. Como algo que hay que prohibir o algo que hay que abrazar sin crítica. Pero olvidamos lo esencial: ¿para qué la estás usando? ¿Qué problema pedagógico resuelve? ¿Qué concepción del aprendizaje estás reproduciendo?

Porque si mandas leer un libro para que el alumnado memorice líneas, entonces la IA es una amenaza. Porque ChatGPT puede generar esas líneas en dos segundos. Pero si mandas leer un libro para que el alumnado comprenda, piense, conecte, entonces la IA puede ser una aliada. Porque puede ayudarte a evaluar esa comprensión de formas más ricas y complejas.

Y lo mismo pasa con los sesgos. Detectar, evaluar y mitigar el sesgo algorítmico es una responsabilidad compartida entre docentes, diseñadores instruccionales y desarrolladores, y requiere revisar y diversificar los datos de entrenamiento, mantener supervisión humana, aplicar auditorías periódicas, garantizar la transparencia y formar a docentes y estudiantes para detectar y corregir posibles sesgos.

Pero antes de todo eso, tienes que preguntarte: ¿qué estoy midiendo? ¿Por qué lo estoy midiendo así? ¿Qué concepción del aprendizaje estoy reproduciendo? Y si la respuesta a esas preguntas no tiene sentido pedagógico, entonces da igual si usas IA o no. Porque el problema no es la herramienta. Es lo que haces con ella.

Nos vemos mañana.