In questi giorni sono in corso gli esami universitari della sessione estiva. Vorremmo dire “in aula”, ma con il perdurare delle restrizioni dovute all’emergenza COVID, i luoghi dell’esame sono piuttosto camere, giardini, cucine e uffici. Come MaddMaths! e UMI vogliamo proporre un primo momento di riflessione su questa situazione. A partire da questo post troverete una serie di iniziative che stiamo mettendo in atto. Qui proponiamo il contributo di Giovannina Albano dell’Università di Salerno.

• Nel passare agli esami a distanza avete dovuto modificare le vostre prove d’esame? Quali difficoltà avete incontrato?

In questo semestre mi sono trovata a tenere a distanza l’insegnamento di Geometria, Algebra e Logica per le matricole del C.d.L Ingegneria Informatica.

Per la valutazione a distanza ho deciso di provare a sfruttare tutte le potenzialità dei quiz offerti dalla piattaforma Moodle, sostituendo la prova scritta con un quiz. Da diversi anni uso la piattaforma per coinvolgere gli studenti in attività collaborative (workshop) che mirano allo sviluppo di un atteggiamento di studio critico e promuovano una (auto-)valutazione formativa lungo tutto il corso. Accanto a questo, metto a disposizione risorse varie (file di appunti, video e percorsi personalizzati interattivi per lo sviluppo del pensiero strategico).

Avevo, già tempo fa, fatto una riflessione, insieme a Pier Luigi Ferrari (Univ. del Piemonte Orientale), sulla valutazione automatica, vista prevalentemente nell’ottica auto-valutativa e come strumento anche di apprendimento. Il punto chiave nell’uso dei quiz a valutazione automatica è un’attenta progettazione delle domande in modo tale che per determinare la risposta corretta siano necessario mettere in gioco le competenze volute, come ad esempio lettura attenta del testo, modellazione della situazione problematica, coordinamento dei vari sistemi semiotici (testi verbali, espressioni simboliche, grafici), e infine che scoraggi l’uso di strategie improprie. Per realizzare questo sono richieste continue variazioni delle domande, quindi un discreto database, con un’attenta scelta dei distrattori e con l’inserimento sistematico dell’item “nessuna delle altre opzioni date”, che dovrebbe essere quello giusto in un certo numero di occorrenze.

Non metto in dubbio che le domande a risposta chiusa hanno dei limiti, perché ad esempio non permettono di valutare appieno la costruzione di un testo, la creazione di una strategia risolutiva, l’argomentazione di un processo o di una risposta. Tuttavia ritengo che questi limiti possano essere tanto più contenuti quanto più attentamente vengono progettate le domande e l’intero quiz.

Gli esami a distanza sono stati per me l’occasione di cominciare a riflettere approfonditamente su questa progettazione, insieme ad alcuni giovani ricercatori, tra cui in particolare Agnese Telloni (Univ. Politecnica delle Marche).

Il punto di partenza è stato: cosa valutare? …in matematica e, più in dettaglio, nel dominio del mio insegnamento, quindi tenendo bene in mente le caratteristiche specifiche della materia oggetto di studio, in particolare dell’algebra lineare (che è la parte preponderante dell’esame). Pur tenendo ben saldo l’aggancio con i contenuti dell’insegnamento, l’ottica è stata quella della verifica di competenze, soprattutto in termini di comprensione e gestione degli oggetti/concetti matematici,  delle relazioni tra di essi e dei processi associati alla risoluzione problemi ad essi relativi. Questo ha portato alla definizione dapprima di una lista dettagliata di obiettivi valutativi (corredata anche di esempi di domande), che sono stati poi raccolti in alcune grandi classi di equivalenza.

Il secondo punto è stato: come valutare? Questo ha significato andare nel dettaglio a capire quali sono i vantaggi e i limiti dei vari formati di domande Moodle e come ognuno di essi potesse eventualmente essere utilizzato per la verifica degli obiettivi individuati.

Il terzo punto è stato: come costruire il quiz? A questo sono state legate questioni relative alla distribuzione rispetto a vari parametri (contenuto, obiettivo didattico, livello di difficoltà, numero di domande, formato delle domande, tempo di erogazione), rese ancora più complicate dalla randomizzazione spinta che intendevo mettere in atto attraverso l’utilizzo di varie etichettature delle domande.

E proprio quest’ultimo elemento ha posto un problema che è stato il quarto punto di riflessione, direi il più impegnativo: cosa significa dare un quiz  “uguale per tutti” in un contesto di generazione random delle domande? In presenza era tutto semplice, tutti gli studenti ricevevano la stessa traccia, a distanza mi è sorto un problema di equità della prova che mi ha portato a una nuova definizione di “stessa traccia”.

Tenendo conto di tutti gli elementi detti, il quiz è stato misto: una parte chiusa e una parte aperta. Le domande aperte sono state simili a quelle di un compito in presenza, in cui però la comunicazione ha giocato un ruolo importante, insieme alla la giustificazione del processo risolutivo (sia in termini procedurali che teorici), dal momento che scientemente agli studenti è stata messa a disposizione solo una casella testuale.

La valutazione complessiva del quiz è stata fatta dando peso leggermente maggiore alla parte aperta, e la sufficienza non poteva essere raggiunta svolgendo correttamente solo una delle due parti.

• Le nuova modalità a distanza vi hanno portato a valutare differentemente le vostre prove di esame precedenti? Ci sono riflessioni che ritenete utili anche per quando la didattica e in particolare la valutazione tornerà a svolgersi in presenza?

Resto convinta delle prove di esame precedenti, nel senso della filosofia che le ha sempre ispirate, volta a minimizzare un apprendimento meccanico in cui lo studente si comporta come una macchina che non ha contezza di ciò che sta facendo. E proprio perché insegno a ingegneria informatica, dov’è molto spinta l’attenzione alla robotica e all’intelligenza artificiale, mi piace sottolineare ai miei studenti la differenza e il valore aggiunto dell’intelligenza umana rispetto a una macchina, che poi magari essi stessi si troveranno, nel prossimo futuro, a progettare e a rendere “intelligente”.

Mantenendo la stessa filosofia, onestamente non credo che tornerò completamente alle prove di esame precedenti, ma andrò sempre più verso una modalità mista, migliorando quello che ho già cominciato a fare. In presenza, probabilmente, farei consegnare anche gli eventuali fogli di lavoro utilizzati per rispondere.

Non ho ancora avuto modo di analizzare i vari report che la piattaforma mette a disposizione, ma sono certa che costituiscono una “realtà aumentata” di informazioni preziose per me docente. Ci sarà ancora da riflettere a posteriori sui criteri utilizzati per la costruzione delle domande e dei quiz, così da validarli, migliorarli, raffinarli.

Per questioni di tempo, quest’anno non ho utilizzato i quiz durante il corso, ma intendo farlo anche quando torneremo in presenza. I quiz e i dati relativi, usati in ottica formativa, possono darmi la possibilità di affinare le percezioni d’aula e permettermi di orientare le lezioni e i tutorati in maniera più efficace, e anche di suggerire percorsi di recupero personalizzati. In questo senso, penso possano essere uno strumento utile ad individuare gli studenti più deboli, che nella massa dell’aula si perdono, e quindi progettare interventi meglio calibrati per permettere loro di superare le difficoltà.

• Avete notato un atteggiamento differente rispetto alle prove d’esame da parte degli studenti? Quali difficoltà ritenete  che loro abbiano dovuto superare? Avete messo in atto delle strategie particolari per aiutarli?

Per quello che riguarda la mia esperienza, le difficoltà sono state più nelle cose a contorno: doppio dispositivo (cellulare per aula zoom e computer per piattaforma Moodle), configurazione postazione d’esame, attivazione di dispositivi come Respondus Lockdown per evitare navigazione fuori dalla pagina del quiz, etc. Queste difficoltà, comunque contenute, penso che andranno via via scemando con la pratica. Altre difficoltà sono sul piano affettivo, come l’ansia della connessione che cade o di un qualsiasi problema tecnico, o il nostro ingresso nelle loro case, o anche (e forse ancor più) la presenza di genitori/fratelli nelle stanze limitrofe (qualcuno ha mandato fuori tutta la famiglia… io avrei fatto lo stesso!).

Dal punto di vista più propriamente dell’esame, gli studenti si sono subito adeguati a questa modalità. Non ho fatto cose particolari per aiutarli, se non le attività che già normalmente faccio in piattaforma (in particolare i workshop). Nelle ultime due lezioni e nell’ultimo tutorato, ho fatto fare delle simulazioni di quiz e le questioni sorte sono state soprattutto di taratura del tempo necessario allo svolgimento della prova.

A me è sembrato abbastanza naturale che non trovassero grosse difficoltà nel merito della prova, perché lo spirito delle domande dei quiz era sostanzialmente lo stesso delle prove in presenza che conoscevano, improntato a un approccio critico e non mnemonico e a una visione relazionale della matematica. E un primo veloce esame dei risultati ha confermato che mediamente non c’è stato un grande scostamento tra le valutazioni delle due parti dei quiz (domande a valutazione automatica e domande a valutazione manuale).

• Ritenete che la possibilità di comportamenti scorretti e ingannevoli costituisca un problema rilevante per la didattica a distanza?

La mia esperienza è stata duplice. Per quanto riguarda le lezioni, c’è stato senz’altro chi si è “imboscato” molto più di quanto avrebbe potuto fare in presenza; di contro in positivo c’è stata in media maggiore interazione spontanea. Per quanto riguarda invece la valutazione, ho trovato un maggiore senso di responsabilità. Per tutti i corsi, gli studenti infatti fatto una prova in itinere: la traccia è stata “classica”, esattamente sullo stile di quelle degli anni precedenti, e gli studenti hanno avuto circa 36 ore per farla carta e penna a casa e riconsegnarla attraverso foto. Per quel che riguarda la prova del mio corso, i compiti sono stati corretti in modo standard ed è stata data una valutazione, a titolo puramente formativo per gli studenti, di cui non ho tenuto alcun conto per l’esame. Io (così come tutti i colleghi di altre materie) mi sarei aspettata di avere tutti elaborati in fascia A (la più alta), e invece la distribuzione delle valutazioni è stata paragonabile a quelli degli anni scorsi. Parlandone a lezione, gli studenti mi hanno detto di aver considerato seriamente la prova come autovalutazione e quindi di essersi imposti ad esempio di risolverla nelle due ore di tempo che avrebbero avuto se fosse stata fatta in presenza. Non voglio dire che non abbiano collaborato, certamente si sono sentiti e confrontati tra loro, ma mi pare di poter dire che sia stato fatto con il sincero obiettivo di “capire”, piuttosto che con l’intenzione semplicemente di “copiare”.

Quando comincio un corso, sottolineo sempre che stiamo cominciando un’avventura insieme, dove è necessario che ognuno di noi faccia la propria parte per giungere con successo alla meta desiderata e condivisa. E tutte le azioni didattiche, durante il corso, hanno nello sfondo questo coinvolgimento e questa assunzione di responsabilità, che è percepibile prima da parte mia nei loro confronti e poi da parte degli studenti nei confronti di se stessi e dei colleghi di corso. Nel momento in cui ognuno di noi si coinvolge in quest’avventura, allora comportamenti scorretti e ingannevoli perdono di senso sia in presenza sia a distanza.