Posted on by Andrea Monti

Un incubo orwelliano: il controllo individuale passa per i videogiochi

l videogame Call of Duty userà l’IA per analizzare in tempo reale le parole dei giocatori e segnalare ai moderatori le espressioni “tossiche” (qualsiasi cosa voglia significare il termine). Un altro passo nella transizione dalla sorveglianza di massa alla privatizzazione del controllo individuale di Andrea Monti – Inzialmente pubblicato su Strategikon – un blog di Italian Tech

È passata sostanzialmente sotto silenzio la notizia che la terza iterazione di Call of Duty Modern Warfare utilizzerà ancora più attivamente l’intelligenza artificiale per bloccare – “filtrare” direbbero eufemisticamente gli esperti di marketing – la “tossicità” delle conversazioni. Tradotto: grazie all’intelligenza artificiale le parole dei giocatori saranno analizzate in tempo reale e le espressioni “tossiche”, qualsiasi cosa voglia significare il termine, verranno segnalate ai moderatori.

La notizia, tuttavia, non è il ricorso all’uso dell’onnipresente “AI” per individuare gli “offender” che è soltanto una tecnicalità. Ciò che dovrebbe far riflettere, invece, è l’ulteriore fase della transizione dalla “sorveglianza di massa” alla privatizzazione del controllo individuale e individualizzato non solo per “ragioni di sicurezza nazionale” ma per “banali” esigenze di tutela del fatturato, limitazione del rischio reputazionale, riduzione di quello di azioni legali e, peggio ancora per “educare gli utenti”.

Da vecchio giocatore di Doom, mi rimane abbastanza complicato capire come sia possibile, in uno shoot-em-up estremamente coinvolgente mantenere un contegno di stampo anglossassone scaricando decine di colpi di doppietta contro il minotauro che si ostina a reagire nonostante tutto, ma tant’è. Dunque, in concreto, nel bel mezzo di un raid nel quale abbiamo impostato il “Lachmann Sub” (in realtà, una replica dello Heckler&Koch MP5) in modalità “full-auto” o stiamo brandendo il “Taq-V” (cioè un FN-Scar) con l’obiettivo di ammazzare qualcuno prima che lui, parafrasando La guerra di Piero, ci “ricambi la cortesia”, non è opportuno urlare “crepa, maledetto !&?@#!#%&!” (dove al posto dei caratteri speciali il lettore potrà inserire qualsiasi insulto preferisce). Per evitare di essere “segnalati” dal sistema per uso di “linguaggio tossico” dovremo mantenerci ben al di sotto del limite fissato dal (vago) Code of conduct di Call of Duty e dunque, magari, apostrofare l’avversario con un “gentile signore, le sarò grato se vorrà accelerare la sua dipartita da questo mondo consentendomi di attingere i suoi punti vitali con il mio strumento per l’accelerazione di piccoli oggetti metallici dotati della capacità di produrre delle soluzioni di continuità non riparabili nei suoi tessuti organici”. Sarebbe come dire che in una partita di calcetto, per chiedere la palla a un compagno di squadra “egoista” che vuole imitare il Pelè di Fuga per la vittoria, si dovrebbe preferire un “per cortesia potresti far girare la palla in modo da consentirmi di sviluppare l’azione di attacco” a un più efficace “passa, str***o!!”

Non è questa la sede per tornare sull’annoso dibattito relativo al ruolo di alcune categorie di videogiochi nello slatentizzare (attenzione: “slatentizzare”, non “causare deterministicamente”) comportamenti violenti e nella loro strumentalizzazione a fini di reclutamento; e rinviamo ad un’altra occasione qualche ragionamento sul ruolo dell’aggressività nei rapporti sociali e sul modo di disinnescarla tramite, per esempio, lo sport o altre forme di gestione controllata e sublimata. Ciò che conta, qui ed ora, è evidenziare come il controllo individuale tecnologicamente mediato si stia espandendo fino ad invadere le sfere più private della persona, per arrivare addirittura al momento nel quale un’idea si materializza in un’emissione sonora, prima ancora che in uno scritto o un comportamento.

Si potrebbe giustificare una cosa del genere dicendo che nel momento in cui una persona esprime pubblicamente un’affermazione potenzialmente rivelatrice di un comportamento criminale dovrebbe per ciò solo essere punita o, perlomeno, fermata. Se, infatti, il pensiero è azione, allora manifestare un’idea equivale ad attuarla e dunque non c’è bisogno di aspettare che questo accada per adottare adeguate contromisure.

Questo è il ragionamento che, in modo implicito, caratterizza ad esempio il Digital Service Act comunitario e le norme sul diritto d’autore. Espandendo i doveri di controllo preventivo delle Very Large Online Platform sull’operato degli individui, in realtà le norme delegano a queste il potere di decidere in modo sostanzialmente unilaterale quale sia il limite concreto fra libertà di espressione e comportamenti illeciti sostituendole alle corti giudiziarie. Peggio, poi, se questo potere viene esercitato su contenuti “inappropriati” e dunque perfettamente leciti anche se sgradevoli per qualcuno. Il potere attribuito alle VLOP è quello di applicare una sanzione di fatto, ma non di diritto, di ciò che è considerato (non si sa bene da chi, per chi e su quali parametri) parte di questa moraleggiante categoria.

È dai tempi del Digesto, la raccolta di principi giuridici voluta da Giustiniano e pubblicata nel 533, che il principio “cogitationis poenam nemo patitur” (Digesto, 49.19.18) è parte della cultura occidentale fino al punto di rappresentare uno dei criteri che l’articolo 25 della Costituzione e l’articolo 1 del Codice penale fissano per attribuire la responsabilità penale. Tuttavia, quello che sembrava un limite invalicabile – punire i fatti e non il pensiero – è stato da tempo ampiamente superato e non (solo) con nuove norme giuridiche, ma soprattutto grazie all’utilizzo strumentale e oramai inarrestabile di una non meglio definita “etica” che sostituisce il primato della legge.

Nessuno ha mai chiarito in nome di cosa le convinzioni di un singolo o di un gruppo di persone dovrebbero diventare vincolanti per tutti quelli che non la pensano allo stesso modo, tanto che è stato necessario “inventare” la legge proprio come strumento di mediazione fra diverse letture della realtà. Tuttavia, l’atteggiamento di politici e legislatori è sostanzialmente cambiato da quando le tecnologie dell’informazione hanno consentito l’aggregazione spontanea e incontrollabile di gruppi di individui, la diffusione di contenuti autoprodotti e la manifestazione (più o meno) pubblica di idee e convinzioni personali (a questo proposito, è appena il caso di notare che questi tre ambiti sono quelli che, in passato, le necessità di autodifesa dello Stato hanno sempre regolamentato imponendo limiti alla libertà di riunione, controllo sui mezzi di realizzazione e diffusione di stampati, e schedature di dissidenti).

Sulla carta, specie in ambito comunitario, si continua a professare la venerazione per i diritti fondamentali della Carta di Nizza e il rispetto del primato della legge. Nei fatti, non solo viene legittimata la delazione tramite i trusted flagger del Digital Service Act, non solo – in forza della stessa norma – si sottrae alle corti il potere di esercitare il controllo esclusivo sulla libertà di espressione, ma le istituzioni europee cominciano a prendere seriamente in considerazione di imporre il divieto di end-to-end encryption, cioè della funzionalità (del tutto concettualmente analoga a quella che controlla le chat di Call of Duty) che consente di cifrare messaggi e contenuti prima di inviarli, rendendo così molto più difficile la loro intercettazione da parte di malintenzionati istituzionali e non. Sempre si tratta, in altri termini, di controllare preventivamente il comportamento di una persona e decidere unilateralmente come qualificarlo.

Per la cronaca, Apple aveva provato ad applicare un sistema del genere per poi fare marcia indietro, e nel 2022 i sistemi automatizzati di analisi preventiva di Google dei contenuti veicolati tramite i propri servizi causarono l’avvio di una indagine penale a carico di un genitore che aveva inviato al pediatra le immagini del figlio malato.

In termini concreti, vietare la crittografia end-to-end significa imporre per legge di installare su ogni terminale fisso o mobile che sia un sistema di analisi preventiva dei contenuti e di segnalazione di quelli che il “sistema” avrà classificato come illegali o – peggio – semplicemente (e qui casca l’asino) “inappropriati”.

Un livello di invasività di questo genere nella sfera individuale è semplicemente inconcepibile e non serve spiegare il perché.

Di fronte anche solo a questa prospettiva ci si sarebbe aspettato quantomeno un accalorato dibattito pubblico, ma nulla di tutto questo è accaduto; ed è ancora più assordante il silenzio delle autorità garanti per la protezione dei dati personali, “dimentiche” del fatto che il GDPR non si occupa solo di “privacy” ma di tutelare i diritti fondamentali – tutti i diritti fondamentali – da trattamenti che li aggrediscono. Detta in modo ancora più esplicito: intercettare in tempo reale conversazioni, decidere se il contenuto sia una violazione contrattuale e applicare sanzioni che possono implicare la risoluzione del rapporto è un trattamento che nulla a che fare con la “privacy” ma non per questo è meno lesivo dei diritti della persona.

Vedremo, se e quando le autorità nazionali di protezione dei dati se ne accorgeranno, quali provvedimenti decideranno di emanare. Nel frattempo, però, con la strategia della rana bollita, ciò che conta è fissare un paletto che delimita un confine e poi cominciare a spostarlo. Dunque, si parte con il prevenire la diffusione di contenuti “inappropriati” su piattaforme online già in fase di pubblicazione, poi si passa a combattere il “linguaggio tossico” nei videogiochi e, una volta che il fatto diventa socialmente accettato, si sposta sempre più in là il confine fra (realmente necessaria) prevenzione di sicurezza e inaccettabile controllo individualizzato e anticipato su quello che si può e non si può dire, ma – soprattutto – pensare.

Nemmeno nei suoi incubi peggiori George Orwell avrebbe potuto immaginare una distopia di questa magnitudo ma, come ammoniva il Bardo, “ci sono più cose in cielo e in terra, Orazio…”

Possibly Related Posts: