Il tuo futuro è scritto nei test INVALSI: 2) learning analytics e dispersione scolastica

www.roars.it. 31.01.2024

Di Rossella Latempa

Il dialogo tra Autorità Garante per la Protezione dei dati personali e l’INVALSI sull’intreccio Intelligenza Artificiale/valutazione standardizzata solleva numerosi interrogativi e diverse preoccupazioni su come si stia procedendo ad una ridefinizione in senso predittivo degli esiti dei test standardizzati INVALSI. I nuovi indicatori di fragilità individuali, che nel PNRR assumono valore di indicatori di policy e monitoraggio, consentirebbero di predire il rischio di insuccesso scolastico e dunque di abbandono. Come tutte le preoccupazioni, per verificarne la fondatezza bisogna cercare allora di capirci qualcosa in più: quali sono le prospettive di ricerca che si muovono in questa direzione? Quali progetti sta sviluppando l’istituto sull’uso predittivo dei test? Quali sono le tendenze internazionali? In questo post diamo un’occhiata a cosa bolle in pentola.

Il dialogo tra Autorità Garante per la Protezione dei dati personali e l’INVALSI sull’intreccio Intelligenza Artificiale/valutazione standardizzata solleva numerosi interrogativi e diverse preoccupazioni su come si stia procedendo ad una ridefinizione in senso predittivo degli esiti dei test standardizzati INVALSI. I nuovi indicatori di fragilità individuali, che nel PNRR assumono valore di indicatori di policy e monitoraggio, consentirebbero di predire il rischio di insuccesso scolastico e dunque di abbandono. Come tutte le preoccupazioni, per verificarne la fondatezza bisogna cercare allora di capirci qualcosa in più: quali sono le prospettive di ricerca che si muovono in questa direzione? Quali progetti sta sviluppando l’istituto sull’uso predittivo dei test? Quali sono le tendenze internazionali?

In questo post diamo un’occhiata a cosa bolle in pentola.

1. Nuove prospettive di ricerca: prevedere l’insuccesso tramite i dati INVALSI

Nel suo intervento durante il seminario “I dati INVALSI, uno strumento per la ricerca” del 2021, il prof. Tommaso Agasisti, del Politecnico di Milano, aveva presentato un approfondimento sugli sviluppi delle politiche educative in campo internazionale fondato sui cosiddetti learning analytics, che definisce come un nuovo approccio alla misurazione, raccolta e analisi dei risultati degli studenti, il cui scopo è la migliore comprensione e ottimizzazione dei determinanti dell’apprendimento, nei contesti in cui esso si realizza.

Tra gli obiettivi, afferma Agasisti, c’è quello di:

“tentare di predire e comprendere cosa accadrà nel prossimo futuro … per tentare di attivare quei fattori, quelle attività o interventi che possano prevenire [ esiti indesiderabili ]

o promuovere un futuro differente…

E’ un obiettivo ambizioso di questo nuovo approccio: non solo comprendere meglio cosa accade [in termini di apprendimento dello studente], ma anche tentare di influenzare cosa accadrà nel prossimo futuro”

Come possiamo predire con precisione se uno studente sarà soggetto alla dispersione scolastica, usando tecniche di analisi dei dati? È questa la domanda fondamentale che si pone Agasisti.

Le tecnologie basate sulla produzione algoritmica, raccolta e analisi di dati sembrano promettere una nuova era di oggettività nella politica e nella governance educativa (Ben Williamson qui o qui), schiudendo prospettive di indagine nel campo della cosiddetta remedial education, che potremmo tradurre con istruzione di recupero, sia in ambito scolastico (qui, qui o qui, ad esempio) che universitario, anche grazie al supporto delle nuove figure di esperti dei dati, gli Educational Data Scientists, di cui Agasisti sottolinea l’importanza.

Una rapida occhiata alla sempre più massiccia produzione di studi e ricerche sull’uso predittivo degli algoritmi di valutazione standardizzata anche nel nostro Paese può confermare tale impressione. Solo alcuni esempi:

– nel 2019, prima della crisi pandemica, un convegno della SIRD (Società Italiana di Ricerca Didattica) era interamente dedicato alla valorizzazione dei learning analytics: nella valutazione formativa, nella formazione docenti e in generale per affrontare le “nuove sfide della scuola”; anche in campo universitario, nel numero XII del Giornale Italiano della Ricerca Educativa si discuteva di learning analytics e dell’intreccio tecnologie-valutazione [1];

– nel 2020, un progetto di ricerca che ha coinvolto le Università di Pisa, Parma e il CNR dal titolo Electronic Logbook Data Mining, si propone:

“di recuperare e analizzare con tecniche di Data Mining i dati provenienti dalle singole scuole per ottenere informazioni che tendano a segnalare e anticipare situazioni problematiche

A partire dai dati delle misurazioni di un anno scolastico e [..] dei test INVALSI cercare correlazioni con l’andamento degli studenti nell’anno scolastico successivo.

[..] Questo permetterebbe alle scuole di intervenire con strumenti di recupero con notevole anticipo rispetto alle pratiche consuete”

Nello stesso anno, alcuni ricercatori INVALSI analizzano le opportunità dell’impiego delle tecnologie di valutazione fondate sui learning analytics (LA) per scopi autovalutativi, sempre orientati al miglioramento:

“Il forte interesse sul LA [Learning Analytics] è motivato dalla necessità di comprendere meglio l’insegnamento, l’apprendimento, i “contenuti intelligenti”, la personalizzazione dell’adattamento.

Così come asserisce Siemens (2013, p. 1380), il “LA è sufficientemente sviluppato, attraverso conferenze, riviste, istituti estivi e laboratori di ricerca, per essere considerato un campo di ricerca emergente.

[..risulta..] necessario oggi più che mai cogliere le sfide che il LA stesso ci consente di realizzare, non solo da parte del mondo della ricerca, ma specie da parte del mondo della scuola nella sua azione di economia funzionale volta al miglioramento. Raccolta, misurazione e analisi dei dati, quindi, ci spingono a promuovere futuri progetti di ricerca e di operazioni di feedback valutativi che utilizzino sempre più il LA, evitando di limitarsi alla sola produzione di dati senza capitalizzarne il valore interpretativo e orientativo”

– nel 2021: Convegno Nazionale DIDAMATiCA, alcuni ricercatori dell’Università di Bologna presentano uno studio dal titolo “Modelli predittivi del rischio dropout degli studenti”

“..La ricerca finora ha spesso fatto riferimento a variabili demografiche o di status economico, sociale e culturale…Tuttavia, dal punto di vista di un sistema predittivo che consenta azioni volte ad eliminare o ridurre il rischio, questa tipologia di variabili risulta rigida e difficilmente influenzabile dalle azioni pedagogiche e formative della scuola.

[..] questo position paper, [è] ispirato da uno studio di casi in corso sulla stima del rischio di abbandono implicito nelle classi 13 del sistema scolastico italiano attraverso i Dati INVALSI.”

– nel 2022 lo stesso gruppo di ricerca, durante una Conferenza sull’ Intelligenza artificiale nell’istruzione, alcuni ricercatori dell’ Università di Bologna presentano uno studio dal titolo: “Previsione del basso rendimento degli studenti” in cui propongono:

“un metodo per valutare il rischio di scarso rendimento nella scuola primaria e secondaria.. [sulla base di] tre modelli di machine learning con i dati raccolti dal Ministero dell’Istruzione italiano attraverso i test di valutazione su larga scala INVALSI.”

– sempre nel 2022: ASA conference, Data driven decision making, si esplorano le capacità predittive dei risultati INVALSI sul voto conclusivo di fine secondo ciclo degli studenti o le correlazioni tra abilità del singolo studente e tempi di risposta nei test INVALSI computerizzati;

– anche il recente convegno del settembre 2023 organizzato dal Laboratorio Nazionale “Artificial Intelligence ed Intelligent Systems” (AIIS), creato dal CINI (Consorzio Interuniversitario Nazionale per l’Informatica) ha promosso un workshop tematico su intelligenza artificiale e istruzione. Tra i contributi segnaliamo “Valutazione del rischio di bassi risultati con il machine learning” e relativa bibliografia.

2. ..E I progetti INVALSI 2024-2026

Nel documento di pianificazione e programmazione delle attività dell’INVALSI (Piano Integrato di attività e organizzazione) 2024-2026 possiamo leggere le attività e i progetti che l’Istituto prevede di attivare o proseguire nei prossimi anni.

L’Istituto sottolinea l’unicità del sistema italiano:

“La somministrazione al computer delle prove INVALSI, introdotta su base censuaria nel 2018, è stata unanimemente valutata come uno straordinario successo che non ha eguali nel mondo”

Siamo in effetti un caso unico sul Pianeta Terra: attribuiamo agli esiti di un’unica batteria di test, spalmata su tutti gli studenti dai 7 ai 19 anni il significato di misura della qualità del sistema scolastico, del valore aggiunto degli istituti, etc. etc.. Usiamo addirittura quegli esiti per erogare certificazioni di competenza degli allievi.

Ma non finisce qui. Secondo l’Istituto,

“i dati INVALSI rendono osservabile ..un fenomeno piuttosto diffuso che spesso sfugge alle statistiche: la dispersione scolastica implicita, vale a dire una quota non trascurabile di studenti che, pur conseguendo il diploma, non raggiungono nemmeno lontanamente i livelli di competenza che ci si dovrebbe aspettare dopo tredici anni di scuola. Le criticità messe in evidenza dai risultati delle rilevazioni nazionali già nel primo ciclo d’istruzione aiutano una identificazione precoce di questo fenomeno e possono consentire quindi azioni preventive efficaci.”

Ancora una volta si dà spazio all’idea che gli esiti dei test possano consentire “identificazioni precoci” o guidare azioni “preventive”, esattamente come il Presidente INVALSI aveva dichiarato all’epoca della notizia sulla diffusione del nuovo indicatore di fragilità individuale.

Segno che si possa ragionevolmente dichiarare l’avvento nuova stagione comunicativa: aprire la strada all’uso predittivo dei test INVALSI.

Nella lista delle azioni che l’Istituto mette in campo a supporto delle politiche pubbliche troviamo infatti la promozione della ricerca nell’ambito dell’Intelligenza Artificiale e dei Learning Analytics per l’individuazione dei predittori di successo e insuccesso volti alla prevenzione della fragilità scolastica.

Tra i progetti in tal senso, segnaliamo:

Il progetto DATA2LEARN@EDU: Data-Driven Learning Organizations in the Education Domain in collaborazione con Università di Torino e Fondazione per la Scuola , nel cui abstract leggiamo:

“I decisori possono utilizzare l’analisi dell’apprendimento per identificare il profilo degli allievi che manifestano maggior vulnerabilità, ad esempio non essendo in grado di diplomarsi nei tempi previsti, permettendo di pianificare adeguati programmi di studio che soddisfino le esigenze e le aspettative di tutti i gruppi di allievi. Un impatto scalabile multidimensionale sul dominio dell’istruzione, a partire dallo studente per giungere sino agli organi di governo, può essere ottenuto attraverso soluzioni basate sull’intelligenza artificiale.”

Tra le varie azioni del progetto:

• Promuovere lo studio e lo sviluppo di un “cruscotto” accessibile e immediato, basato sull’impiego dell’ Intelligenza Artificiale..;
• Sviluppo di una metodologia che agganci l’analisi dei risultati degli studenti tra i gradi 2 e 5, 5 e 8, 8 e 10, 10 e 13 – con lo scopo di predire le traiettorie di apprendimento (e non solo i livelli) nel tempo;
• Sviluppo di una metodologia per identificare gli studenti a rischio o in condizione di eccellenza; Definizione della metodologia per sviluppare indicatori predittivi del successo / insuccesso scolastico.

Il progetto QUALAS: Quality Assurance with Learning Analytics in Schools, che:

mira a costruire capacità nelle scuole secondarie nell’uso dei Learning analytics all’interno dei processi di autovalutazione delle scuole.

3. Una tendenza che viene da lontano

Ben Williamson ha definito “educazione di precisione” quell’ ambito emergente, tra scienze economiche, psicologia, management e tecnologia, ad alta intensità di dati e con implicazioni significative per la politica educativa, che promette di “migliorare la precisione dei servizi che gli studenti con problemi di apprendimento, comportamentali, emotivi o di salute fisica ricevono” (qui) grazie alle sempre maggiore produzione, estensione e integrazione di dati digitali sull’apprendimento.

Nella recente ricognizione OCSE (2023) sullo stato dell’arte e le prospettive future per la realizzazione di un ecosistema di istruzione digitale, l’Organizzazione internazionale sottolinea che

“Un feedback più avanzato potrebbe consistere in modelli predittivi e diagnostici che aiutino le parti interessate a valutare le tendenze attuali e ad anticipare ciò che potrebbe accadere in futuro (ad esempio un sistema di allarme rapido) o nella fornitura di consulenza basata sui dati.

[..] Inoltre, la possibilità di abbinare i dati degli insegnanti e degli studenti offre l’opportunità di esplorare la relazione tra le caratteristiche e le pratiche degli insegnanti e il successo degli studenti.”

Il terreno su cui ci addentriamo è vastissimo. Le implicazioni sono (sarebbero!) tutte da discutere: dal rischio di automazione del giudizio educativo alla sorveglianza, dal rafforzamento delle discriminazioni e dei pregiudizi alle nuove forme di misurazione psico-emotiva.

“La governance dell’istruzione si sta spostando verso tecniche di governo più individuali e personalizzate, per anticipare il futuro e gestire il presente. Gestire il presente richiede la realizzazione di un tipo umano specifico, che apprende orientato al futuro.

[..] Gli organi di governo transnazionali come l’Organizzazione per la cooperazione e lo sviluppo economico (OCSE) e l’UE, i governi nazionali, le aziende, l’industria tecnologica, i think tank e le ONG, stanno mobilitando sempre più l’idea di futuro [..] La salute, il benessere mentale e la capacità di rispondere al disagio costituiscono elementi chiave di questa agenda. Di conseguenza, la nascita dell’ “educazione terapeutica” è strettamente associato al programma di “educazione di precisione”, in termini di logica culturale con cui opera.”

Così si esprimono nel loro recente lavoro dedicato alla “Precision education governance and the high risks of fabrication of future-oriented learning human kinds” gli studiosi Daniel Nehring e Kristiina Brunila.

Valutare algoritmicamente e con sempre maggiore accuratezza statistica il rischio individuale di insuccesso/drop-out, o progettare interventi di supporto personalizzato in maniera adattiva, per concentrare le risorse sulle situazioni ritenute più urgenti, sono tra le prospettive più promettenti e attuali dell’uso dei Big Data nel campo dell’educazione a livello globale.

Difficile non rintracciare in tale quadro gli sviluppi recenti delle politiche italiane di contrasto alla dispersione implicita e anticipazione del rischio fondate sull’uso dei test INVALSI. Difficile pensare che ne resteremo fuori.

Di Rossella Latempa

Fonte: https://www.roars.it/2-il-tuo-futuro-e-scritto-nei-test-invalsi-learning-analytics-e-dispersione-scolastica/

NOTE:

(1) L. Galliano, Professore Emerito Università di Padova, in Tecnologie e valutazione: bio-bibliografia di un intreccio pag. 112 : “L’adozione di dispositivi di Learning Analytics negli ambienti formativi per migliorarle pratiche di insegnamento e apprendimento significa che c’è bisogno di utilizzare i dati nelle decisioni educative, anche se i report, gli standard, i modelli di analisi, sono stati a lungo utilizzati (e percepiti) come sistemi di valutazione delle scuole, delle università, dei docenti, e quindi più associati a criteri di accountability che non di supporto alle decisioni degli operatori e degli studenti per l’improvement continuo delle loro pratiche.”

Articolo 2 di 3 scelto dal gruppo di lavoro CDC Digitale e Green