Dichiarazione congiunta di scienziati e ricercatori sulla proposta di regolamento sugli abusi sessuale infantili proposta dall’UE: 4 luglio 2023
Cari deputati al Parlamento europeo,
Cari Stati membri del Consiglio dell’Unione europea,
I firmatari di questa dichiarazione sono scienziati e ricercatori di tutto il mondo.
Innanzitutto, riconosciamo che l’abuso e lo sfruttamento sessuale dei minori è un crimine molto grave che può causare danni permanenti ai sopravvissuti. È responsabilità delle autorità governative, con il sostegno delle aziende e delle comunità, intraprendere interventi efficaci per prevenire questo crimine e reagire rapidamente quando si verifica.
La Commissione europea ha proposto una legge con l’obiettivo dichiarato di fermare la diffusione online di materiale pedopornografico e l’adescamento online di minori. Per fare ciò, la legge consente alle autorità di obbligare i fornitori di app o altri servizi online a scansionare messaggi, immagini, e-mail, messaggi vocali e altre attività dei propri utenti. Nel caso delle app crittografate end-to-end, l’affermazione è che questa scansione può essere eseguita sui dispositivi degli utenti – la cosiddetta “scansione lato client” (CSS).
L’efficacia della legge (nei suoi obiettivi dichiarati) dipende dall’esistenza di tecnologie di scansione efficaci. Sfortunatamente, le tecnologie di scansione attualmente esistenti e all’orizzonte sono profondamente imperfette. Questi difetti, che descriviamo in dettaglio di seguito, significano che la scansione è destinata a essere inefficace. Inoltre, l’integrazione della scansione su larga scala nelle app in esecuzione sui dispositivi degli utenti, e in particolare in un contesto globale, crea effetti collaterali che possono essere estremamente dannosi per tutti coloro che sono online e che potrebbero rendere Internet e la società digitale meno sicuri per tutti.
Poiché i problemi che descriviamo riguardano misure che sono al centro della proposta legislativa dell’UE, la nostra raccomandazione professionale come scienziati è che tale proposta non venga portata avanti. Non è fattibile né sostenibile richiedere alle aziende private di utilizzare le tecnologie in modi che già sappiamo non possono essere fatti in modo sicuro – o addirittura non possono essere fatti affatto. Data la natura orribile dell’abuso sessuale sui minori, è comprensibile, e in effetti allettante, sperare che esista un intervento tecnologico in grado di sradicarlo. Tuttavia, guardando la questione in modo olistico, non possiamo sfuggire alla conclusione che l’attuale proposta non è un intervento di questo tipo.
L’approvazione di questa legislazione mina il lavoro ponderato e incisivo che i ricercatori europei hanno svolto nel campo della sicurezza informatica e della privacy, compresi i contributi allo sviluppo di standard di crittografia globali. Tale indebolimento indebolirà l’ambiente per il lavoro sulla sicurezza e sulla privacy in Europa, riducendo la nostra capacità di costruire una società digitale sicura.
Il regolamento proposto costituirebbe inoltre un precedente globale per il filtraggio di Internet, il controllo di chi può accedervi e l’eliminazione di alcuni dei pochi strumenti a disposizione delle persone per proteggere il proprio diritto alla vita privata nello spazio digitale. Ciò avrà un effetto dissuasivo sulla società e probabilmente influenzerà negativamente le democrazie di tutto il mondo.
Mettiamo quindi fortemente in guardia dal perseguire queste o misure simili poiché il loro successo non è possibile data la tecnologia attuale e prevedibile, mentre il loro potenziale danno è sostanziale.
- Le tecnologie di rilevamento sono profondamente imperfette e vulnerabili agli attacchi
Gli strumenti utilizzati per la scansione di materiale pedopornografico noto (CSAM) non devono contenere materiale pedopornografico stesso poiché ciò comporterebbe gravi rischi. Pertanto, l’unica tecnologia scalabile per affrontare questo problema consiste nel trasformare il contenuto noto con una cosiddetta funzione hash percettiva e nell’utilizzare un elenco dei valori hash risultanti da confrontare con potenziale materiale CSAM. Una funzione hash percettiva deve raggiungere due obiettivi: (i) dovrebbe essere facile da calcolare ma difficile da invertire e (ii) piccole modifiche a un’immagine dovrebbero comportare piccole modifiche all’output hash, il che significa che anche dopo la manipolazione dell’immagine la l’immagine conosciuta può ancora essere rilevata. Anche se sembra facile, dopo più di due decenni di ricerca non sono stati compiuti progressi sostanziali nella progettazione di funzioni che soddisfino queste proprietà.
La ricerca ha dimostrato che per tutte le funzioni hash percettive conosciute, è praticamente sempre possibile apportare piccole modifiche a un’immagine che si traducono in un grande cambiamento del valore hash che consente l’evasione del rilevamento (falso negativo). Inoltre, è anche possibile creare un’immagine legittima che verrà erroneamente rilevata come materiale illegale in quanto ha lo stesso hash di un’immagine presente nel database (falso positivo). Ciò può essere ottenuto anche senza conoscere il database hash. Un simile attacco potrebbe essere utilizzato per incastrare utenti innocenti e inondare le forze dell’ordine di falsi positivi, distogliendo risorse dalle vere indagini sugli abusi sessuali sui minori.
Questi attacchi non sono teorici: per progetti concreti come Photo DNA, la funzione hash PDQ di Facebook e la funzione NeuralHash di Apple, in letteratura sono stati descritti attacchi efficienti.
Per il momento l’unico modo per evitare tali attacchi è mantenere segreta la descrizione della funzione hash percettiva. Questa “sicurezza tramite oscurità” non solo va contro i principi di base dell’ingegneria della sicurezza ma, in pratica, è fattibile solo se la funzione hash percettiva è nota solo al fornitore di servizi. Nel caso della crittografia end-to-end, l’operazione di hashing deve avvenire sul dispositivo client. Pertanto, mantenere segreto il design è un’illusione.
Come scienziati, non ci aspettiamo che nei prossimi 10-20 anni sia fattibile sviluppare una soluzione scalabile che possa funzionare sui dispositivi degli utenti senza fuga di informazioni illegali e che possa rilevare contenuti noti (o contenuti derivati da o correlati a contenuti noti) contenuto) in modo affidabile, cioè con un numero accettabile di falsi positivi e negativi.
La proposta della Commissione Europea va oltre l’individuazione dei contenuti conosciuti. Richiede inoltre che le immagini o i video appena generati con materiale pedopornografico debbano essere rilevati sulla base di strumenti di “intelligenza artificiale”. Inoltre, la proposta prevede che l’adescamento nei servizi di comunicazione, comprendenti sia testo che audio, venga rilevato utilizzando tecniche simili. Sebbene alcuni attori commerciali affermino di aver fatto progressi, i progetti rimangono segreti e non è stata effettuata alcuna valutazione aperta e obiettiva che ne dimostri l’efficacia. Inoltre, lo stato dell’arte dell’apprendimento automatico suggerisce che ciò va ben oltre ciò che è fattibile oggi. In effetti, ogni volta che i progetti lato client sono stati valutati (come nel caso dei prototipi finanziati dal Ministero degli Interni del Regno Unito) si sono rivelati né efficaci né conformi alle leggi sulla privacy e sui diritti umani.
Gli strumenti di intelligenza artificiale possono essere addestrati per identificare determinati modelli con elevati livelli di precisione. Tuttavia, commettono regolarmente errori, compresi errori che a un essere umano sembrano molto elementari. Questo perché i sistemi di intelligenza artificiale mancano di contesto e buon senso. Ci sono alcuni compiti per i quali i sistemi di intelligenza artificiale sono adatti, ma la ricerca di un crimine molto sfumato e delicato – che è ciò che è il comportamento di adescamento – non è uno di questi compiti.
Considerando la scala con cui le comunicazioni private vengono scambiate online, anche la scansione dei messaggi scambiati nell’UE su un solo fornitore di app significherebbe generare milioni di errori ogni giorno. Ciò significa che durante la scansione di miliardi di immagini, video, testi e messaggi audio al giorno, il numero di falsi positivi sarà di centinaia di milioni. Sembra inoltre probabile che molti di questi falsi positivi siano essi stessi immagini profondamente private, probabilmente intime e del tutto legali inviate tra adulti consenzienti.
Ciò non può essere migliorato attraverso l’innovazione: i “falsi positivi” (contenuti erroneamente contrassegnati come materiale illegale) sono una certezza statistica quando si tratta di IA. I falsi positivi sono inevitabili anche quando si tratta dell’uso di tecnologie di rilevamento, anche per materiale CSAM noto. L’unico modo per ridurre questo margine di errore a un margine di errore accettabile sarebbe quello di eseguire la scansione solo in circostanze ristrette e realmente mirate in cui vi sia un sospetto preliminare, nonché risorse umane sufficienti per gestire i falsi positivi, altrimenti i costi potrebbero essere proibitivi data la un gran numero di persone che saranno necessarie per rivedere milioni di testi e immagini. Questo non è quanto previsto dalla proposta della Commissione Europea.
Il sistema di segnalazione proposto nel progetto di proposta CSAM potrebbe incoraggiare nuovi attacchi alle tecnologie di rilevamento. Questo perché in questo momento i fornitori hanno la facoltà di eliminare i falsi allarmi evidenti. Con il nuovo sistema, tuttavia, sarebbero tenuti a segnalare anche i contenuti che sembrano improbabili essere di materiale pedopornografico. Oltre agli attacchi di cui abbiamo parlato, molti altri stanno iniziando ad apparire in sedi accademiche specializzate, e ci aspettiamo che molti altri vengano preparati da coloro che sono motivati a condividere materiale illecito.
Infine, è stato affermato che il rilevamento di materiale pedopornografico dovrebbe essere fattibile poiché la scansione dei virus informatici è una tecnologia ampiamente utilizzata. Sebbene superficialmente entrambi sembrino simili, ci sono differenze essenziali. Innanzitutto, quando viene rilevato un virus informatico, l’utente viene avvisato e il virus può essere rimosso. In secondo luogo, un virus può essere riconosciuto sulla base di una piccola sottostringa univoca, cosa che non è il caso di un’immagine o di un video: sarebbe molto semplice modificare o rimuovere una sottostringa univoca con piccole modifiche che non ne alterano l’aspetto; farlo per un virus renderebbe il codice inutilizzabile. Infine, le tecniche di machine learning possono talvolta identificare il comportamento virale, ma solo quando tale comportamento può essere definito con precisione (ad esempio codice che copia se stesso) e quindi rilevato. Ciò è in contrasto con la definizione di CSAM per la quale non è facile stabilire confini chiari.
- Implicazioni tecniche dell’indebolimento della crittografia end-to-end
La crittografia end-to-end è progettata in modo tale che solo il mittente e il destinatario possano visualizzare il contenuto di un messaggio o di un’altra comunicazione. La crittografia è l’unico strumento di cui disponiamo per proteggere i nostri dati nel regno digitale; UN
È stato dimostrato che tutti gli altri strumenti sono compromessi. L’utilizzo della crittografia dei collegamenti (da utente a fornitore di servizi e da fornitore di servizi a utente) con la decrittografia nel mezzo, come avviene nel sistema di telefonia mobile, non è una soluzione accettabile nell’attuale contesto di minacce. È ovvio che la crittografia end-to-end rende impossibile implementare la scansione di contenuti noti o nuovi e il rilevamento di adescamenti presso il fornitore di servizi.
Per rimediare a questo, è stata suggerita una serie di tecniche chiamate “Client-Side Scanning” (CSS) come un modo per accedere alle comunicazioni crittografate senza violare la crittografia. Secondo quanto riferito, tali strumenti funzionerebbero scansionando il contenuto sul dispositivo dell’utente prima che sia stato crittografato o dopo che sia stato decrittografato, quindi segnalando ogni volta che viene trovato materiale illecito. Si potrebbe equiparare questo all’aggiunta di videocamere nelle nostre case per ascoltare ogni conversazione e inviare segnalazioni quando parliamo di argomenti illeciti.
L’unica implementazione dei CSS nel mondo libero è stata quella di Apple nel 2021, che secondo loro era una tecnologia all’avanguardia. Questo tentativo è stato ritirato dopo meno di due settimane a causa di problemi di privacy e del fatto che il sistema era già stato dirottato e manipolato.
Quando distribuiti sul dispositivo di una persona, i CSS agiscono come uno spyware, consentendo agli avversari di accedere facilmente a quel dispositivo. Qualsiasi legge che imponga i CSS, o qualsiasi altra tecnologia progettata per accedere, analizzare o condividere il contenuto delle comunicazioni, senza dubbio minerà la crittografia e di conseguenza renderà le comunicazioni di tutti meno sicure. Il lodevole obiettivo di proteggere i bambini non cambia questa realtà tecnica.
Anche se un simile sistema CSS potesse essere concepito, il rischio che se ne abusi è estremamente elevato. Ci aspettiamo che ci sia una pressione sostanziale sui politici affinché estendano il campo di applicazione, prima per individuare il reclutamento di terroristi, poi altre attività criminali, quindi i discorsi dissidenti. Ad esempio, sarebbe sufficiente che i governi meno democratici estendessero il database dei valori hash che tipicamente corrispondono ai contenuti pedopornografici noti (come spiegato sopra) con valori hash dei contenuti critici nei confronti del regime. Poiché i valori hash non forniscono informazioni sul contenuto stesso, sarebbe impossibile per gli estranei rilevare questo abuso. L’infrastruttura CSS potrebbe quindi essere utilizzata per segnalare immediatamente a questi governi tutti gli utenti con questo contenuto.
Se un tale meccanismo venisse implementato, dovrebbe avvenire in parte attraverso la sicurezza tramite oscurità, altrimenti sarebbe facile per gli utenti aggirare i meccanismi di rilevamento, ad esempio svuotando il database dei valori hash o aggirando alcune verifiche. Ciò significa che verrà danneggiata la trasparenza dell’applicazione, che potrebbe essere utilizzata da alcuni attori come velo per raccogliere più dati personali degli utenti.
- Efficacia
Nutriamo serie riserve sull’efficacia delle tecnologie imposte dal regolamento: gli autori dei reati sarebbero a conoscenza di tali tecnologie e passerebbero a nuove tecniche, servizi e piattaforme per scambiare informazioni CSAM evitando il rilevamento.
Il regolamento proposto danneggerà la libertà di espressione dei bambini poiché anche le loro conversazioni potrebbero innescare allarmi. Le forze dell’ordine nazionali sul campo si occupano in genere in modo sfumato dei messaggi intimi tra adolescenti entrambi in età da consenso. Queste tecnologie cambiano il rapporto tra gli individui e i loro dispositivi e sarà difficile reintrodurre tali sfumature. Per gli altri utenti, nutriamo grandi preoccupazioni per gli effetti agghiaccianti creati dalla presenza di questi meccanismi di rilevamento.
Infine, l’enorme numero di falsi positivi che ci si può aspettare richiederà una notevole quantità di risorse e creerà seri rischi per tutti gli utenti di essere identificati in modo errato. Sarebbe meglio spendere queste risorse per adottare altri approcci volti a proteggere i bambini dagli abusi sessuali. Sebbene la maggior parte del lavoro di protezione dell’infanzia debba essere locale, un modo in cui la legislazione comunitaria potrebbe aiutare è utilizzare i poteri esistenti (DMA/DSA) per richiedere ai servizi di social network di rendere più semplice per gli utenti denunciare gli abusi, poiché si tratta di reclami degli utenti piuttosto che di abusi. IA che in pratica portano al rilevamento di nuovo materiale abusivo.