Implementació i Avaluació d’Assistents Educatius IA en Assignatures de Grau i Màster amb LLMentor
Aquest projecte proposa l’ús i l’avaluació d’un sistema software anomenat LLMentor, dissenyat per crear assistents educatius basats en IA. Aquests assistents s’integraran amb la plataforma Moodle i permetran una interacció segura i personalitzada amb els estudiants. La iniciativa es provarà en diverses assignatures de grau i màster, estudiant el seu impacte en l’aprenentatge i el potencial de l’arquitectura com a cas d’estudi avançat en sistemes d’informació.
L’objectiu és millorar l’experiència d’aprenentatge dels estudiants mitjançant l’ús d’assistents educatius basats en IA que ofereixen una forma ràpida d’accedir a grans quantitats d’informació (apunts, vídeos, etc.), un suport personalitzat, fomentant una major interacció i comprensió dels continguts acadèmics.
L’equip del projecte hem desenvolupat un sistema software anomenat LLMentor, que properament es farà open source. Aquest software permet als professors entrenar un Assistent Educatiu basat en IA a partir de continguts/apunts (pdfs, textos, vídeos) amb un sistema RAG, permet refinar-ne el comportament amb prompt engineering, dissenyar diferents formes d’interacció, integrar els Assistents educatius amb la plataforma Moodle de la universitat amb seguretat i respectant la privacitat, observar l’activitat de l’assistent amb anonimització completa, i de forma independent de sistemes LLM. El sistema pot fer servir com a tecnologia base qualsevol plataforma LLM tant pública (OpenAi, Google, Anthropic, Mistral) com en infraestructura pròpia amb models open source (Mistral, Llama 3, Gemma, Flama, etc).
Ja s’han fet experiments amb èxit a l’assignatura ASMI d’utilització dels assistents en algunes pràctiques, que estan pendents de publicació. Volem executar diverses accions controlades d’utilització d’assistents educatius dissenyats específicament per a activitats d’aprenentatge de les assignatures de grau ASMI, CSI/SIO, Economia, i al Màster MEI l’assignatura DGSI. Addicionalment, a les assignatures CSI/SIO i DGSI, s’estudiarà l’arquitectura del sistema LLMentor com a cas d’arquitectura avançada de sistemes d’informació.
Volem executar diverses accions controlades d’utilització d’assistents educatius dissenyats específicament per a activitats d’aprenentatge de les assignatures de grau ASMI, CSI/SIO, Economia, i al Màster MEI l’assignatura DGSI.
Addicionalment, a les assignatures CSI/SIO i DGSI, s’estudiarà l’arquitectura i codi del sistema LLMentor com a cas d’arquitectura avançada de sistemes d’informació.
Avaluarem els resultats de les accions d’innovació docent de forma anonimitzada:
Es sol·liciten 3,000 € per a destinar a:
El projecte és sostenible a llarg termini gràcies a la natura open source de LLMentor. L’equip de desenvolupament és en col·laboració amb la UPV (Dr. Juan Antonio Pereira), i múltiples universitats (UOC, UA, USal, Unex) ja han manifestat interès en fer proves amb el sistema. De manera que els resultats seran sostenibles a llarg termini i transferibles a altres assignatures de la FIB, la UPC i el món.
Sobre sostenibilitat ambiental, el projecte no suposa entrenar models nous, fet que suposaria un cost energètic molt elevat. Els costos ambientals d’inferència són reduïts, fet que fa que els costos econòmics de les APIs siguin assumibles.