ChatGPT me resume sobre el artículo en The Guardian: https://www.theguardian.com/commentisfree/2024/feb/13/software-student-cheated-combat-ai
Robert Topinka, profesor en la Birkbeck, University of London, explora el dilema que enfrentan los profesores con el uso de IA por parte de los estudiantes en la redacción de ensayos. Tras detectar un ensayo marcado como “100% generado por IA”, Topinka se encuentra en una situación difícil cuando un estudiante excepcionalmente brillante impugna esta acusación. El caso subraya los desafíos de los detectores de IA, como Turnitin, que pueden confundir el uso legítimo de apoyo tecnológico por parte de los estudiantes con trampa. Topinka argumenta la necesidad de adaptar la evaluación académica a la era de la IA, proponiendo alternativas como presentaciones y podcasts para demostrar el pensamiento crítico y original de los estudiantes, evitando acusaciones injustas y promoviendo la igualdad de oportunidades educativas.
El último año he dado cursos a profesores y profesoras de más de 7 universidades (Pueden ver parte del contenido en https://wasabi.essi.upc.edu/ludo/cursos) y siempre he recibido preguntas respecto a cómo detectar que un trabajo lo ha hecho una IA en vez de una persona.
Los trabajos copiados no son una novedad. Cuando todavía era estudiante daba clases de repaso de la asignatura programación metódica en una academia, y un día me pidieron resolver un ejercicio que resultó ser el mismo que salió en el examen. No me pregunten de dónde salió aquel enunciado, porque no lo sé. Tampoco seguí trabajando en esa academia para averiguarlo.
Desde que existe la web tenemos cosas como “El rincón del vago” donde estudiantes comparten apuntes, ejercicios y prácticas resueltas. Y en Instagram los estudiantes reciben publicidad de empresas que ofrecen hacerles el trabajo de fin de grado o de máster… para que tengan tiempo para dedicar a su crush. Yo mismo recibo anuncios en X (antes twitter) de empresas que se ofrecen a escribir artículos de investigación en mi campo y publicarlos en mi nombre en prestigiosas revistas.
Pero el problema es la IA. Claro. Porque permite hacer las cosas a escala y a costos irrisorios. Y ahora corremos todos a ella.
Y lo que queremos son soluciones fáciles, como tomar antiinflamatorios, pero aplicados a la calidad docente y a la paz mental que te da un cuadro de control. Sistemas como Urkund y Turnitin, se integran a nuestros Moodle’s y Sakais y nos dicen en qué porcentaje los entregables de nuestros estudiantes son originales o son copias de cosas online o de los trabajos de sus compañeros.
Como decía Bruce Willis en “The Kid”: “los sándwiches dan seguridad”. Y el color verde al lado de una entrega da paz de espíritu.
Pero ya hace años que los alumnos insertan caracteres en cirílico que parecen letras en el alfabeto latino (ver tabla de caracteres confundibles en https://github.com/mindcrypt/uriDeep/blob/master/data/deepDiccConfusables.txt) y que burlan los sistemas anti copia sin problema.
¿Y los sistemas de detección de contenido generado por IA?
En febrero de 2023 ya dije, y está en YouTube grabado en silicio, que para textos de menos de una página es imposible decir con certeza si un texto ha sido generado por IA o ha sido una persona. Más adelante investigadores de la Universidad de Maryland publicaron “Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). ¿Puede el texto generado por IA ser detectado de manera fiable? arXiv:2303.11156 [cs.CL]. https://doi.org/10.48550/arXiv.2303.11156”
Vemos en el abstract:
A continuación, proporcionamos un resultado teórico de imposibilidad que indica que a medida que los modelos de lenguaje se vuelven más sofisticados y mejores en emular el texto humano, el rendimiento del mejor detector posible disminuye. Para un modelo de lenguaje suficientemente avanzado que busca imitar el texto humano, incluso el mejor detector posible podría actuar solo marginalmente mejor que un clasificador aleatorio. Nuestro resultado es lo suficientemente general para capturar escenarios específicos como estilos de escritura particulares, diseño inteligente de prompts o parafraseo de texto.
O sea, que NO, que no se puede detectar con fiabilidad si un texto ha sido generado por IA. El sistema no será fiable y generará errores: falsos negativos y falsos positivos.
Ahora, hablemos de ética. Ética de la IA de verdad, no de pachanga. La ética de un profesor que decide delegar su juicio a una máquina que dice que un alumno ha “copiado con IA”. La ética de una empresa que vende el servicio de esa máquina que… NO FUNCIONA.
Los falsos positivos pueden tener impacto sobre la carrera de un estudiante, o un investigador que entra en la lista negra de una editorial a partir de un discriminador IA.
“La IA me ha dicho que has copiado con IA.” Es una exhibición de cinismo y de pereza, de no querer hacer las cosas bien. De no pensar que si una IA hace el ejercicio que pides, quizás deberías pedir otra cosa.
Alguna profesora me ha explicado, para mi horror, que su detector de contenido hecho con IA es ChatGPT. Y que se lo cree.Desde hace unos meses ChatGPT ha dejado de mojarse cuando le preguntan si un texto ha sido generado por IA.