ChatGPT em fa un resum de l’article a The Guardian: https://www.theguardian.com/commentisfree/2024/feb/13/software-student-cheated-combat-ai
Robert Topinka, professor a la Birkbeck, University of London, explora el dilema que afronten els professors amb l’ús d’IA per part dels estudiants en la redacció d’assajos. Després de detectar un assaig marcat com a “100% generat per IA”, Topinka es troba en una situació difícil quan un estudiant excepcionalment brillant impugna aquesta acusació. El cas subratlla els desafiaments dels detectors d’IA, com Turnitin, que poden confondre l’ús legítim de suport tecnològic per part dels estudiants amb fer trampa. Topinka argumenta la necessitat d’adaptar l’avaluació acadèmica a l’era de la IA, proposant alternatives com presentacions i podcasts per demostrar el pensament crític i original dels estudiants, evitant acusacions injustes i promovent la igualtat d’oportunitats educatives.
L’últim any he fet cursos a professors i professores de més de 7 universitats (Podeu veure part del contingut a https://wasabi.essi.upc.edu/ludo/cursos) i sempre he rebut preguntes sobre com detectar que un treball l’ha fet una IA en lloc d’una persona.
Els treballs copiats no són cap novetat. Quan encara era estudiant feia classes de repàs de l’assignatura de programació metòdica en una acadèmia, i un dia em van demanar resoldre un exercici que va resultar ser el mateix que va sortir a l’examen. No em pregunteu d’on havia sortit aquell enunciat, perquè no ho sé. Tampoc vaig continuar treballant en aquella acadèmia per esbrinar-ho.
Des que existeix la web tenim coses com “El Rincón del Vago”, on estudiants comparteixen apunts, exercicis i pràctiques resoltes. I a Instagram els estudiants reben publicitat d’empreses que els ofereixen fer-los el treball de fi de grau o de màster… perquè tinguin temps per dedicar al seu crush. Jo mateix rebo anuncis a X (abans Twitter) d’empreses que s’ofereixen a escriure articles de recerca en el meu camp i publicar-los en nom meu en revistes prestigioses.
Però el problema és la IA. És clar. Perquè permet fer les coses a escala i a costos irrisoris. I ara hi correm tots.
I el que volem són solucions fàcils, com prendre antiinflamatoris, però aplicats a la qualitat docent i a la pau mental que et dona un quadre de comandament. Sistemes com Urkund i Turnitin s’integren als nostres Moodle i Sakai i ens diuen en quin percentatge els lliurables dels nostres estudiants són originals o són còpies de coses en línia o dels treballs dels seus companys.
Com deia Bruce Willis a “The Kid”: “els entrepans donen seguretat”. I el color verd al costat d’un lliurament dona pau d’esperit.
Però ja fa anys que els alumnes insereixen caràcters en ciríl·lic que semblen lletres de l’alfabet llatí (vegeu la taula de caràcters confusables a https://github.com/mindcrypt/uriDeep/blob/master/data/deepDiccConfusables.txt) i que burlen els sistemes anticòpia sense problema.
I els sistemes de detecció de contingut generat per IA?
El febrer de 2023 ja vaig dir, i és a YouTube gravat en silici, que per a textos de menys d’una pàgina és impossible dir amb certesa si un text ha estat generat per IA o l’ha escrit una persona. Més endavant, investigadors de la Universitat de Maryland van publicar “Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Es pot detectar de manera fiable el text generat per IA? arXiv:2303.11156 [cs.CL]. https://doi.org/10.48550/arXiv.2303.11156”
Veiem al resum:
A continuació, proporcionem un resultat teòric d’impossibilitat que indica que, a mesura que els models de llenguatge esdevenen més sofisticats i millors a l’hora d’emular el text humà, el rendiment del millor detector possible disminueix. Per a un model de llenguatge prou avançat que busqui imitar el text humà, fins i tot el millor detector possible podria actuar només marginalment millor que un classificador aleatori. El nostre resultat és prou general per captar escenaris específics com estils d’escriptura particulars, disseny intel·ligent de prompts o parafraseig de text.
És a dir, que NO, que no es pot detectar amb fiabilitat si un text ha estat generat per IA. El sistema no serà fiable i generarà errors: falsos negatius i falsos positius.
Ara, parlem d’ètica. Ètica de la IA de veritat, no de xerinola. L’ètica d’un professor que decideix delegar el seu criteri a una màquina que diu que un alumne ha “copiat amb IA”. L’ètica d’una empresa que ven el servei d’aquesta màquina que… NO FUNCIONA.
Els falsos positius poden tenir impacte sobre la carrera d’un estudiant, o d’un investigador que entra a la llista negra d’una editorial a partir d’un discriminador d’IA.
“La IA m’ha dit que has copiat amb IA.” És una exhibició de cinisme i de peresa, de no voler fer les coses bé. De no pensar que, si una IA fa l’exercici que demanes, potser hauries de demanar una altra cosa.
Alguna professora m’ha explicat, per al meu horror, que el seu detector de contingut fet amb IA és ChatGPT. I que s’ho creu. Des de fa uns mesos ChatGPT ha deixat de mullar-se quan li pregunten si un text ha estat generat per IA.