Il tuo futuro è scritto nei test INVALSI: 1) le preoccupazioni del Garante della Privacy

www.roars.it. 29.01.2024

Di Rossella Latempa

Siamo ad oltre un anno dalla diffusione da parte dell’INVALSI del nuovo indicatore di fragilità degli studenti. Si tratta di un bollino individuale attribuito algoritmicamente agli allievi che non raggiungono livelli ritenuti adeguati nei test standardizzati. Le scuole ci stanno lavorando. Tale indicatore consentirebbe di quantificare la cosiddetta dispersione implicita e di prevedere precocemente il rischio di abbandono scolastico. Va tutto bene? Non proprio. Gli esiti dei test standardizzati stanno assumendo un nuovo carattere predittivo e preventivo rispetto al futuro del singolo studente, con conseguenze imprevedibili e preoccupanti: i risultati dei test INVALSI non sono controllabili né revisionabili da parte di chi li riceve. Sono da accettare come puro atto di fede. Questi, nella sostanza, i timori espressi dal Garante per la protezione dei dati personali in un recente dibattito dal titolo più che mai attuale: “Intelligenza artificiale: come proteggere i dati e come utilizzarli per la dispersione scolastica?” L’Autorità parla di “miscela esplosiva dati-Intelligenza Artificiale” e dei pericoli di ”etichettatura sbagliata”. Ricorda che è necessario fissare dei limiti ed esigere il diritto ad una “revisione umana” del processo algoritmico. Perché “se cediamo all’idea che ciò che è tecnologicamente possibile è [anche] democraticamente sostenibile”, il risultato finale è il “governo della tecnologia”. Vogliamo davvero delegare ad un circolo ristretto di esperti, i nuovi oracoli INVALSI, la possibilità di predire il successo o l’insuccesso degli studenti a partire da un test?

1. Schedatura studenti “fragili”: il punto della situazione

Siamo ad oltre un anno dalla diffusione da parte dell’INVALSI del nuovo indicatore di fragilità degli studenti: un bollino individuale attribuito algoritmicamente agli allievi che non raggiungono livelli ritenuti adeguati nei test standardizzati. Tale indicatore consentirebbe di quantificare la cosiddetta dispersione implicita e di prevedere precocemente il rischio di abbandono scolastico. Gli esiti dei test standardizzati assumono così un nuovo carattere predittivo e preventivo rispetto al futuro del singolo studente.

“L’indicatore di fragilità INVALSI permette di individuare precocemente gli studenti che maggiormente sono esposti ai rischi connessi all’insuccesso scolastico” (qui)

“L’idea è proprio quella di fornire indicatori che probabilisticamente individuano dei fragili. Come dire: se ho determinate caratteristiche fisiche, sono esposto a determinati rischi, e mi controllerò per prevenirli. Un’altra lettura delle cose favorisce l’oscurantismo”. (qui)

Queste le parole del Presidente INVALSI, nell’ottobre e novembre 2022. Da allora, nessuno ha più parlato del bollino di fragilità. Non se ne sono preoccupati i politici, non i pedagogisti o gli scienziati dell’educazione; non le associazioni di genitori o quelle sindacali, che dopo qualche comunicato di denuncia, non ci risulta abbiano monitorato l’iter della schedatura INVALSI.

Intanto, le scuole ci stanno lavorando. Alcune stanno “attenzionando” gli studenti classificati “fragili” (le foto sono tratte da circolari pubbliche, messe in rete dai vari istituti).

Di recente, il 25 novembre scorso, il tema si è riproposto nell’ambito degli Stati Generali della scuola digitale (App.3.4), in un dibattito dal titolo: “Intelligenza artificiale: come proteggere i dati e come utilizzarli per la dispersione scolastica?”.

Riportiamo di seguito alcuni stralci tra i più interessanti, ma prima di andare avanti nella lettura, è utile ricordare alcune premesse.

• La schedatura di tutti gli studenti italiani da parte dell’INVALSI, esclusi (per adesso) i bambini di 7 e 10 anni, avviene in maniera algoritmica, tramite batterie di test computerizzati.
• La correzione delle domande è gestita in maniera centralizzata, e l’emissione dei “voti” INVALSI, che in alcuni casi si concretizzano nel bollino di fragilità individuale, non è verificabile direttamente dallo studente che li acquisisce.
• La banca dei quesiti INVALSI non è pubblica e la compilazione dei test non è verificabile ex post da parte dello studente o del genitore interessato.
• Le soglie con cui INVALSI definisce la distinzione algoritmica tra sommersi e salvati, ovvero fragili e non fragili, non sono note, né ricavabili dalla documentazione istituzionale. Il margine di errore non è noto né discutibile.
• Infine, non esistono standard di competenze fissati normativamente nel nostro ordinamento, fatta eccezione per i quadri di certificazione linguistica, importati da quelli internazionali. Sebbene INVALSI continui a ripetere di poter misurare le competenze minime richieste, non esiste alcuna definizione né regolamentazione di quali siano questi minimi. Inoltre, è bene ricordare che gli elenchi di traguardi di competenze (1) sono fissati normativamente solo per il primo ciclo, mentre per il secondo ciclo sono frutto di una selezione operata da un non noto “gruppo di lavoro INVALSI” in maniera del tutto autoreferenziale (vedi foto di seguito, Quadro Riferimento Matematica 2018, pag 10).

2. Il dibattito INVALSI – Garante per la Protezione dei dati personali

Protagonisti:

• Guido Scorza, componente del Garante per la Protezione dei dati personali (nella trascrizione di seguito, GARANTE)
• Roberto Ricci, Presidente INVALSI (di seguito, INVALSI)
• Ilaria Iacoviello, Giornalista Sky tg 24 (di seguito, Giornalista).

Per punti:

1) La miscela esplosiva dati-intelligenza artificiale

Giornalista: [..] approfondiremo il discorso dell’IA, se effettivamente è uno spauracchio ed è molto difficile da arginare oppure se utilizzata nel corretto modo può essere una risorsa, per la scuola e ancor di più per combattere la dispersione scolastica. Partirei da Scorza: cosa ne pensi dell’IA e come è possibile proteggere tutti i dati che abbiamo?

GARANTE: [..] Quando uniamo IA e dati la miscela diventa esplosiva. I dati sono di fatto proiezioni, frammenti dell’identità di una persona. Messi insieme rappresentano la persona. Il chi siamo nella dimensione digitale [..]

Giornalista: Cosa vogliamo farci con i dati, a livello scolastico? […] Dati, IA e sistema di valutazione come si intersecano?

INVALSI: [..] i dati in educazione oggi ci consentono di individuare precocemente degli indicatori di fragilità.

[..] I dati ci danno informazioni di probabili ricorrenze.

[..] Chi fa il nostro mestiere si deve muovere nel momento in cui ritiene che la probabilità di queste ricorrenze sia molto alta e che valga la pena di correre il rischio di commettere un errore. Questa è la grande valutazione, che è esattamente la valutazione che fa il medico, che si muove, iper-semplificando, in una prospettiva probabilistica. Nel momento in cui assume una data scelta ha fatto una valutazione di tipo probabilistico. Noi oggi in educazione facciamo ancora molta fatica a fare questo.

[..] Noi oggi abbiamo degli strumenti che ci consentono già alla scuola primaria di individuare elementi di ricorrenza con probabilità altissima, superiore al 90% di essere in condizione di fragilità educativa. Il che vuol dire disperdersi, non terminare la scuola, ma oggi mi verrebbe da dire oggi il tema della dispersione in senso classico sta acquistando un ruolo marginale. Il vero tema è la dispersione non tanto in senso di mancanza di diploma [ma la dispersione implicita], cioè uscire dalla scuola senza le componente di base minime. E su questo la frontiera digitale è un’opportunità enorme.

2) Il fine NON giustifica i mezzi

Giornalista: Come possiamo lavorare insieme in fase di progettazione e non quando la frittata è fatta?

GARANTE: Non è facile [..] Quando noi arriviamo a sanzionare, essendo la nostra la difesa di un diritto fondamentale, significa che purtroppo il diritto di qualcuno è già stato travolto. Magra la consolazione di dire adesso ti faccio pagare una sanzione, assolutamente inutile dirlo quando quel soggetto è la pubblica amministrazione, perché diventa veramente una partita di giro [..]

Sicuramente qui il tema non può essere il fine a guidare le scelte. La nobiltà del fine, la dispersione scolastica, talvolta rischia di traviare, perché rischia di tradursi non necessariamente nelle intenzioni di chi quel fine persegue, nell’accettazione del principio per cui se è nobile il fine allora il mezzo diventa anch’esso lecito.

In una stagione in cui il tecnologicamente impossibile non esiste più e il tecnologicamente possibile è tutto se cedo all’idea che quello che è tecnologicamente possibile e legittimo è democraticamente sostenibile, il risultato finale [..] è che il governo diventa della tecnologia. La tecnocrazia travolge la democrazia perché la vera regola la fissa la soluzione tecnologica.

3) Il diritto ad una revisione umana della decisione

[..] Il vero tema è: noi abbiamo dentro la disciplina europea della privacy l’antidoto al rischio di errore nel ragionamento probabilistico, che dice [che] ognuno ha diritto, di fronte ad una decisione algoritmica, e quindi probabilistica nel senso che si diceva prima, di chiedere a chi utilizza quello strumento di rivedere in maniera umana la decisione. Di dire cioè: forse l’algoritmo è sbagliato, con le tue risorse umane ripeti la decisione.

Giornalista: ma è molto difficile ..

GARANTE: [..] rischiamo di consegnarci mani e piedi agli algoritmi e tecnologia [..] che esce dai laboratori di ricerca ormai sempre più nelle mani dei privati e quindi è sviluppata nel loro legittimo interesse

Giornalista: Roberto, in un’ipotesi futura di collaborazione fra scuole e garante, come vedi questa possibilità e messa a terra dei progetti che porteranno ai dati?

4) Per l’INVALSI “l’errore non è un grosso problema”

INVALSI: io vedo notevoli possibilità…Credo che uno stato democratico, che sa di avere risorse limitate deve darsi delle priorità [..] Abbiamo stabilito un grande principio, che le elaborazioni algoritmiche debbano avvenire su dati totalmente anonimi.

[..] Potremmo anche valutare il tipo di errore e le caratteristiche del tipo di errore qualora le cose vadano male. Mi spiego. Nel caso specifico della dispersione, l’errore non è un grosso problema. Perché, semplificando, la prevenzione della dispersione cosa vuol dire? Cercare di aiutare con supporto educativo, supporto didattico, pedagogico etc a persone che hanno grossi rischi di disperdersi. Se io sbaglio che cosa mi è successo? Ho dato a queste persone degli strumenti didattici in più, un insegnamento più vicino a quello che potrebbe essere il suo rischio. Mi faccio anche un’autocritica, ho destinato in una direzione piuttosto che ad un altro, però questo, se il rischio rispetto al soggetto non lo danneggia, allora possiamo avere un atteggiamento [aperto]. Se il rischio è di altro tipo allora il discorso è diverso.

5) Per il Garante un’ “etichettatura sbagliata” può essere discriminante

GARANTE: È sicuramente vero che la disciplina della privacy è basata sulla valutazione del rischio. Però, proprio per stare a quel tipo di esempio, purtroppo, o anche per fortuna, la tecnologia ha sempre due volti: viviamo in una società connessa, in cui l’esistenza di un database, in cui un determinato soggetto, specifico, con un nome e cognome e una sua esistenza fosse definito “soggetto a rischio dispersione” – l’espressione più fair che si possa immaginare! – rischierebbe a prescindere dal processo di antidispersione scolastica.

In ambiti “altri”, lavorativo, della scelta o selezione di una certa istituzione o un’altra, se quell’etichetta fosse sbagliata noi staremmo comunque pregiudicando in qualche modo il suo futuro.

Non nella dimensione dell’educazione, per cui tu dici, OK, gli metto a disposizione più risorse, quindi caso mai il problema è per quel qualcun altro a cui sottraggo quelle risorse. Ma in dimensioni altre, diverse dall’educazione; cioè pensiamo all’accesso abusivo a quell’informazione con il dato di Paolo Rossi, che per colpa di un algoritmo che ha messo in fila in maniera non corretta dei fattori si ritrova classificato come a rischio dispersione, poi quando quello proverà ad entrare in un’Università X o Y che cerca solo quelli bravi resterà fuori dalla porta; o quando ci sarà qualcuno che dovrà selezionarlo per un lavoro e avrà accesso ai dati dirà ma “era addirittura a rischio dispersione” [..] quello che ci dobbiamo sempre ricordare nell’approccio a queste problematiche nella dimensione algoritmica [..] è l’etichettatura delle persone, che si presta a un rischio di discriminazione.

6) INVALSI garantisce il diritto alla revisione? E come?

[..] Il vero tema è: come faccio per davvero a garantire a tizio e ai genitori di tizio di ottenere davvero la correzione?

All’alba dell’impatto dell’Intelligenza artificiale abbiamo già visto un certo numero di episodi, nei quali, penso al credito di consumo, al finanziamento legato, alla morosità nei rapporti con le compagnie telefoniche/energia

[..] Un’etichettatura sbagliata per colpa di un algoritmo pregiudica per un certo numero di anni la vita di quella persona. Se un’azienda ti classifica come moroso [..] hai voglia a dire si sono sbagliati, [..] ti imbarchi in una commedia kafkiana

[..] Io non vedo altra soluzione [..] che progettare soluzioni in maniera tale da garantire una revisione effettiva anche a costo di accettare una compressione della potenzialità tecnologica.

[..] Sostanzialmente dire: l’algoritmo potrebbe portarmi fino lì, ma se io accettassi quella valutazione algoritmica poi non potrei ripetere quella valutazione algoritmica nella dimensione umana (non ne avrei il tempo, la capacità, le risorse), quindi mi fermo a una valutazione un po’ più bassa, rinuncio a tutta la potenzialità di quella tecnologia, ma a una valutazione ripetibile nella dimensione umana e quindi revisionabile nella dimensione umana.

[ciò] comporta al padrone del vapore anche il fatto di dire la tecnologia non la posso usare tutta, perché l’impatto non sarebbe sostenibile.

INVALSI: È importante mettere dei limiti di velocità

GARANTE: E rispettarli…

[..]

Giornalista: Tu pensa se il Ministero decide di abolire tutti i voti che cosa può succedere, Roberto..no?

Ricapitolando:

L’errore nell’etichettatura degli studenti fragili esiste, dichiara il Presidente INVALSI, che tuttavia ritiene non sia dannoso. In fondo cosa può succedere? Un po’ di soldi in più ad uno studente al posto di un altro, qualche attività di tutoraggio aggiuntiva. Male non faranno.

Intravediamo una nuova idea terapeutica di istruzione emergere dalle parole del Presidente INVALSI, che ricalca la logica della “medicina di precisione”: combinare big-data e intelligenza artificiale per seguire la biografia socio-cognitiva di ogni studente, nell’illusione di potergli “cucire addosso” interventi che ne prevengano l’insuccesso o esaltino l’ eccellenza. È il connubio: personalizzazione di Valditara – neovalutazione INVALSI.

Il Garante ritiene invece che essere etichettati come fragili algoritmicamente, ovvero non potendo controllare in alcun modo il processo di etichettatura, possa ledere diritti soggettivi in maniera imprevedibile e anche grave; sarebbe necessario che il “padrone del vapore” limiti l’uso della tecnologia: ogni valutazione prodotta algoritmicamente deve poter essere revisionato in maniera umana.

È oggi possibile questo nella valutazione INVALSI? E’ possibile revisionare in maniera umana e controllare l’attribuzione di un livello INVALSI a uno studente?

Non ci risulta. L’assegnazione del voto-INVALSI non consente alcun controllo su contenuti, processo, esiti.

Di Rossella Latempa

Fonte: https://www.roars.it/1-il-tuo-futuro-e-scritto-nei-test-invalsi-le-preoccupazioni-del-garante-della-privacy/

NOTE:

(1) Provate a leggere l’elenco delle competenze o la descrizione dei livelli INVALSI associati a uno dei 5 livelli possibili. Al di la dell’ampiezza di ciascuna fascia, cosa si capisce da quelle descrizioni senza conoscere il contenuto dei test? Una riflessione sull’ampiezza e vaghezza di quei traguardi si può leggere qui: https://giscel.it/wp-content/uploads/2017/08/08_DocumentoGiscelIndicazioniLicei2010-1-1.pdf

Articolo 1 di 3 scelto dal gruppo di lavoro CDC Digitale e Green