Le organizzazioni umanitarie sono abituate ad acquistare beni tangibili che rimangono invariati nel tempo, come serbatoi d’acqua o generatori. Tuttavia, l’acquisto di sistemi algoritmici rappresenta una sfida completamente nuova. A differenza dei beni fisici, questi sistemi possono cambiare dopo l’acquisto, rendendo obsoleti i processi di approvvigionamento tradizionali.
La risposta immediata ai rischi legati all’AI nel lavoro umanitario è stata quella di creare più linee guida. Esistono ormai numerosi framework etici codici di condotta, toolkit di assicurazione e alberi decisionali. Tuttavia, secondo un nuovo rapporto di Access Now, questa non è la soluzione giusta.
L’acquisto di AI: un processo in evoluzione
Il processo di approvvigionamento tradizionale si basa sull’assunzione che l’asset acquistato rimanga statico. Si scrive una specifica, si esegue una gara d’appalto, si valuta il prodotto rispetto alla specifica, si firma il contratto e si utilizza ciò che è stato valutato. Questo approccio funziona bene per beni fisici come generatori e teloni.
Tuttavia, questo modello fallisce quando si tratta di software ospitato su cloud perché il fornitore può modificare il prodotto dopo la firma del contratto, attraverso aggiornamenti non richiesti che potrebbero passare inosservati. Il rapporto di Access Now evidenzia che il modo più comune in cui le funzionalità algoritmiche entrano nei sistemi delle organizzazioni umanitarie non è un acquisto diretto, ma un aggiornamento o un add-on fornito dal fornitore.
L’impatto degli aggiornamenti
Le valutazioni di impatto sui diritti umani eseguite durante il processo di approvvigionamento, se effettuate, descrivono un prodotto che potrebbe non esistere più. Ogni aggiornamento significativo può rendere obsolete queste valutazioni. Inoltre, la maggior parte dei sistemi algoritmici non raggiunge mai il processo di approvvigionamento.
L’uso diffuso di strumenti AI commerciali
Secondo la Humanitarian Leadership Academy del 2025, il 93% dei lavoratori umanitari ha utilizzato o provato strumenti AI, ma solo l’8% delle organizzazioni ha riportato un’integrazione ampia. Il 69% ha utilizzato piattaforme commerciali come ChatGPT e Claude invece di strumenti specifici. Questi strumenti non sono passati attraverso una gara d’appalto, ma sono stati utilizzati attraverso account personali su livelli gratuiti.
Il rapporto sottolinea che gli attori locali entrano nell’arena algoritmica con poca capacità di decifrare o negoziare i termini contrattuali. Inoltre, pochi raggiungono i livelli a pagamento che offrono garanzie di privacy e sicurezza più forti. Questo ha creato una nuova divide digitale tra chi può permettersi strumenti sicuri e chi no.
Il problema del model drift
Se un’organizzazione acquista una soluzione AI tramite un accordo di licenza con uno dei principali fornitori, è probabile che ciò che ha acquistato non corrisponda a ciò che sta utilizzando ora. I fornitori possono cambiare in modi che non hanno nulla a che fare con il software, come pivot aziendali, fusioni, acquisizioni o cambiamenti di missione. Tuttavia, il problema specifico dell’AI generativa è il model drift.
Il model drift si verifica quando il prodotto stesso cambia mentre il contratto, l’interfaccia e la fattura rimangono identici. Si valuta il comportamento di un modello in un momento specifico, ma entro il tempo necessario per completare un ciclo di approvvigionamento, settimane o mesi dopo, ciò che è stato firmato è già obsoleto.
Ricercatori di Stanford e Berkeley hanno testato le versioni di marzo e di GPT-3.5 e GPT-4 su compiti identici e hanno riscontrato comportamenti sostanzialmente diversi in soli tre mesi. Questo dimostra che i cambiamenti nei modelli sono opachi per gli utenti e richiedono un monitoraggio continuo.
L’impatto sul campo
Il International Rescue Committee (IRC) ha sviluppato aprendIA, un chatbot educativo utilizzato in Nigeria, Colombia e Bangladesh, basato sui modelli di OpenAI. Il modello che risponde alle domande degli insegnanti in questo trimestre potrebbe non comportarsi come il modello valutato al momento della firma del partenariato. L’IRC non controlla il programma di aggiornamenti.
Questo problema si moltiplica per ogni organizzazione che ha integrato un modello commerciale in un flusso di lavoro di prima linea. Come si può scrivere una gara d’appalto, valutare rispetto a una specifica fissa e firmare un contratto a termine per un prodotto che può cambiare trimestralmente, mensilmente, settimanalmente o addirittura giornalmente?
Verso un approvvigionamento strategico
L’approccio tradizionale all’approvvigionamento non è più adeguato per i sistemi algoritmici. È necessario un approccio continuo che tratti ogni cambiamento significativo di un prodotto algoritmico come un trigger che può riaprire la valutazione. Questo richiede un monitoraggio continuo dei fornitori e dei loro modelli durante tutta la durata del contratto.
Il rapporto suggerisce di adottare l’idea del zero trust dalla cybersecurity: smettere di trattare i fornitori come una categoria fissa, assumere che qualsiasi sistema all’interno dell’ambiente possa essere modificato senza preavviso e costruire il monitoraggio per rilevarlo quando accade.
Una soluzione diretta al drift è quella di togliere il percorso di aggiornamento dalle mani del fornitore. Un modello open-weight che si ospita da soli non cambia a meno che non lo si cambi. Intelehealth ha scelto modelli open self-hosted proprio per questo motivo, per evitare che un fornitore aggiorni silenziosamente un modello e modifichi gli output di supporto alle decisioni cliniche senza test o consenso.
Monitorare il drift e possedere il modello richiedono la stessa cosa strutturalmente: non un compito di approvvigionamento, ma un team integrato che include approvvigionamento, IT, legale, cybersecurity e protezione. Questo team dovrebbe lavorare come una funzione permanente invece di una commissione che si riunisce per ogni acquisto.
Con una base di oltre 20 miliardi di euro all’anno in approvvigionamento umanitario, il settore ha la scala per personale questa funzione. La domanda aperta è se i donatori pagheranno per questo come capacità di base piuttosto che come costo da ridurre.
