ChatGPT em resumeix sobre l’article a The Guardian: https://www.theguardian.com/commentisfree/2024/feb/13/software-student-cheated-combat-ai
Robert Topinka, professor a la Birkbeck, University of London, explora el dilema que afronten els professors amb l’ús d’IA per part dels estudiants en la redacció d’assajos. Després de detectar un assaig marcat com a “100% generat per IA”, Topinka es troba en una situació difícil quan un estudiant excepcionalment brillant impugna aquesta acusació. El cas subratlla els desafiaments dels detectors d’IA, com Turnitin, que poden confondre l’ús legítim de suport tecnològic per part dels estudiants amb trampa. Topinka argumenta la necessitat d’adaptar l’avaluació acadèmica a l’era de l’IA, proposant alternatives com presentacions i podcasts per demostrar el pensament crític i original dels estudiants, tot evitant acusacions injustes i promoure la igualtat d’oportunitats educatives.
El darrer any he fet cursos a professores i professors de més de 7 universitats ( Podeu veure part del contingut a https://wasabi.essi.upc.edu/ludo/cursos ) i sempre he rebut preguntes al respecte de com detectar que un treball l’ha fet una IA en comptes d’una persona.
Els treballs copiats no son una novetat. Quan encara era estudiant donava classes de repàs de l’assignatura programació metòdica a una acadèmia, i un dia em van demanar resoldre un exercici que va resultar ser el mateix que va sortir a l’examen. No em pregunteu d’on va sortir aquell enunciat, perquè no ho sé. Tampoc vaig continuar treballant a aquella acadèmia per esbrinar-ho.
Des de que existeix la web tenim coses com “El rincón del vago” on estudiants comparteixen apunts, exercicis i pràctiques resolts. I a Instagram els estudiants reben publicitat d’empreses que ofereixen fer-los el treball de fi de grau o de màster… perquè els quedi temps per dedicar al seu crush. Jo mateix rebo anuncis X (abans twitter) d’empreses que s’ofereixen a escriure articles de recerca en el meu camp i publicarlos en el meu nom a prestigioses revistes.
Però el problema és la IA. Es clar. Perquè permet fer les coses a escala i a costos irrisoris. I ara correm hi tots.
I el que volem son solucions fàcils, com prendre anti inflamatoris, però aplicats a la qualitat docent i a la pau mental que et dona un quadre de control. Sistemes com Urkund i Turnitin, s’integren als nostres Moodle’s i Sakais i ens diuen en quin percentatge els lliuraments dels nostres estudiants son originals o son afusellades de coses online o dels treballs dels seus companys.
Com deia Bruce Willis a “The kid”: “sandwiches give security”. I el color verd al costat de un lliurament dona pau d’esperit.
Però ja fà anys que els alumnes insereixen caràcters en cirílic que semblen lletres en l’alfabet llatí (veure taula de caracters confundibles a https://github.com/mindcrypt/uriDeep/blob/master/data/deepDiccConfusables.txt ) i que burlen els sistemes anti copia sense problema.
I els sistemes de detecció de contingut genetat per IA?
El Febrer de 2023 ja vaig dir, i és a youtube gravat en silici, per a textos de menys d’una pàgina és impossible dir amb certesa si un text ha estat generat per IA o ha estat una persona. Més endavant investigadors de la Universitat de Maryland van publicar “Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-Generated Text be Reliably Detected? arXiv:2303.11156 [cs.CL]. https://doi.org/10.48550/arXiv.2303.11156”
Veiem a l’abstract :
A continuació, proporcionem un resultat teòric d’impossibilitat que indica que a mesura que els models de llenguatge esdevenen més sofisticats i millors en emular el text humà, el rendiment del millor detector possible disminueix. Per a un model de llenguatge prou avançat que busca imitar el text humà, fins i tot el millor detector possible podria actuar només marginalment millor que un classificador aleatori. El nostre resultat és prou general per capturar escenaris específics com estils d’escriptura particulars, disseny intel·ligent de prompts o parafraseig de text.```
O sia, que NO, que no es pot detectar amb fiabilitat si un text ha estat generat per IA. El sistema no serà fiable i generarà errors: falsos negatius i falsos positius.
Ara, parlem d’ètica. Ètica de la IA de veritat, no de pa sucat amb oli. La Ètica d’un professor que decideix delegar el seu judici a una màquina que diu que un alumne ha “copiat amb IA”. L’ètica d’una empresa que ven el servei s’aquesta màquina que….** NO FUNCIONA.**
Els falsos positius poden tenir impacte sobre la carrera d’un estudiant, o un investigador que entra a la llita negra d’una editorial a partir d’un discriminador IA.
“La IA m’ha dit que has copiat amb IA.” Es una exhibició de cinisme i de mandra, de no voler fer les coses bé. De no pensar que si una IA fa l’exercici que demanes, potser hauries de demanar una altre cosa.
Alguna professora m’ha explicat, per al meu horror, que el seu detector de contingut fet amb IA es ChatGPT. I que se’l creu. Des de fa uns mesos ChatGTP ha deixat de mullarse quan li pregunten si un text ha estat generat per IA.