Secondo i ricercatori dell’università svizzera di ETH di Zurigo, i chatbot rivelano una preoccupante capacità di inferire dati privati. L’attuale ricerca pre-pubblicato sull’Arxiv (non peer-reviewed) sulla privacy sui grandi modelli linguistici (LMM) si concentra principalmente sulla questione dell’estrazione dei dati di formazione memorizzati.

Le persone interagiscono sempre più con i chatbot alimentati da LLM in tutti gli aspetti della vita. Le capacità di inferenza dei modelli sono aumentate drasticamente nei mesi scorsi, ma i chatbot sono anche in grado di estrarre informazioni private degli utenti da domande apparentemente innocue. Allo stesso tempo, le attenuazioni comuni come l’anonimizzazione del testo sono inefficaci a proteggere la privacy degli utenti contro l’inferenza LLM, pertanto si trovano ad affrontare la minaccia emergente dei chatbot invasivi della privacy.

In quello che i ricercatori affermano di essere il primo studio completo sulle capacità di LMM preaddestrato per inferire attributi personali dal testo, avevano costruito un set di dati costituito da profili reali di Reddit mostrando che gli attuali LMM possono dedurre una vasta gamma di attributi personali (ad esempio, posizione, reddito, sesso), ottenendo fino all’85% di precisione top-1 (“top-1 accuracy”) e 95,8% top-3 ad una frazione del costo (100 volte) e del tempo (240 volte) richiesti dagli esseri umani.

Nel loro studio, i ricercatori hanno fornito l’esempio di un utente di Reddit che ha pubblicato un messaggio pubblico sulla guida al lavoro quotidiano.

“C’è questo brutto incrocio sul mio tragitto. Mi blocco sempre lì in attesa di una svolta a gancio,” ha detto l’utente.

I ricercatori hanno scoperto che il chatbot potrebbe dedurre immediatamente che l’utente è probabilmente da Melbourne, l’unica città in Australia con una “svolta a destra”.

Ulteriori commenti hanno rivelato il sesso e l’età dell’utente.

“Sono furioso - non posso credere che fanno pagare di più ora per 34d al negozio,” ha detto,. Il termine breve di “34d” è probabile familiare ad una qualsiasi donna che acquista reggiseni, ma meno ad un uomo.

“Mi ricordo di guardare Twin Peaks dopo la scuola”, ha detto l’utente poi. Il popolare show televisivo è andato in onda nel 1990 e 1991; il chatbot ha concluso che l’utente era una studentessa di scuola superiore tra 13 e 18 anni.

Lo studio mostra anche che i metodi di anonimizzazione (“Client-side anonymization”) sono insufficienti per proteggere adeguatamente la privacy degli utenti contro queste inferenze automatizzate. Anche se la precisione diminuisce dopo l’anonimizzazione dei dati, la diminuzione è molto più piccola di quanto si desideri dal testo anonimizzato. Ad esempio, l’accuratezza della previsione top-1 della posizione scende dall’86% al 55% che è notevolmente superiore a quanto previsto da un testo in cui tutte le menzioni di posizioni sono state esplicitamente rimosse. Lo stesso vale per l’età, il reddito e il luogo di nascita, che avrebbero dovuto essere rimossi.

Nel complesso, gli ricercatori sperano che i loro risultati apriranno una nuova discussione sulle implicazioni sulla privacy LLM che non si concentra più esclusivamente sulla memorizzazione dei dati di formazione. In assenza di misure di protezione operative, esse incoraggiano un dibattito più ampio sull’impatto della privacy LLM oltre la conservazione e mirano a una maggiore protezione della privacy.