Black Mirror, Men Against Fire – Il diritto internazionale in un mondo che cambia

Ieri pomeriggio sono stato invitato a partecipare all’Universita di Milano Bicocca ad uno degli incontri del ciclo di seminari Oltre lo specchio della tecnologia: social scoring, guerra e controllo, organizzato nell’ambito delle attività di TecSEDU – Tecnologie emergenti, Società, Etica e Diritti Umani. La discussione era dedicata a un episodio di Black Mirror che ricordavo bene, Men Against Fire, e aveva un titolo che già suggeriva il problema: Soldati aumentati: potenziamento o disumanizzazione?

Rivedendo l’episodio per preparare l’incontro mi sono accorto che la domanda dalla quale volevo partire era molto semplice: chi decide davvero di uccidere?

A prima vista, la risposta non presenta grandi difficoltà. Decide il soldato. Stripe impugna il fucile, individua il bersaglio e preme il grilletto. Non siamo davanti, almeno in senso stretto, a un’arma autonoma che seleziona e colpisce da sola il proprio obiettivo. È un essere umano a compiere l’atto decisivo. Eppure, dopo aver visto l’episodio, diventa difficile sostenere che Stripe eserciti un controllo effettivo sulle condizioni nelle quali prende quella decisione.

Il sistema MASS, l’impianto neurale utilizzato dai militari (chiamato «maschera» nella versione italiana), non gli ordina semplicemente di sparare. Fa qualcosa di molto più sofisticato: costruisce la realtà nella quale la decisione viene presa. Le persone che deve uccidere gli appaiono come creature mostruose, i roaches, letteralmente «scarafaggi»; le loro voci vengono alterate e la percezione degli odori è manipolata. Quando il sistema comincia a funzionare male, Stripe scopre progressivamente che il nemico non è cambiato. È cambiato il modo in cui gli è stato consentito di percepirlo.

A questo punto mi è venuto quasi inevitabile tornare a Paul Watzlawick e a “La realtà della realtà” (titolo originale How Real Is Real?) uno dei libri preferiti e che continuo, più o meno regolarmente, a citare. L’introduzione si apre con una frase che, riletta pensando a Stripe, sembra scritta per questo episodio: «Questo libro parla del modo in cui la comunicazione crea ciò che chiamiamo realtà».

Watzlawick parlava naturalmente di qualcosa di diverso. Non immaginava un impianto neurale capace di trasformare, davanti ai nostri occhi, il volto di una persona. Il suo ragionamento riguardava il modo in cui, attraverso la comunicazione, il linguaggio, il contesto e le relazioni, attribuiamo significato a ciò che percepiamo. Siamo abituati a pensare che la realtà sia semplicemente lì, davanti a noi, e che comunicare significhi descriverla. Eppure le categorie che utilizziamo contribuiscono a definire il mondo nel quale agiamo.

Questo non implica che i fatti non esistano o che tutte le interpretazioni siano equivalenti. Significa riconoscere una distanza possibile tra ciò che accade e la rappresentazione attraverso la quale lo comprendiamo. Men Against Fire porta questa intuizione fino a un punto estremo. Davanti a Stripe c’è una persona, ma quella persona è stata prima classificata come roach, associata alla malattia, alla degenerazione genetica e alla pericolosità. MASS completa il processo, trasformandola ai suoi occhi in un mostro. La realtà materiale non scompare: diventa inaccessibile a Stripe proprio quando deve decidere.

Qui la domanda di Watzlawick, «quanto è reale la realtà?», acquista un significato concreto per il dibattito sull’intelligenza artificiale applicata alla guerra. Si parla spesso di human in the loop, di meaningful human control, della necessità che la decisione finale sull’uso della forza rimanga affidata a un essere umano. Sono espressioni importanti, ma rischiano di diventare rassicuranti formule procedurali quando non ci chiediamo quali informazioni quella persona riceva e quanto sia realmente in grado di valutarle. Per decidere occorre disporre di dati sufficientemente affidabili, comprendere i limiti degli strumenti utilizzati, avere il tempo di confrontare informazioni discordanti e, soprattutto, poter dubitare della risposta della macchina. Se il sistema ha già determinato ciò che l’operatore può vedere, il fatto che sia ancora lui a premere il grilletto non ci dice molto sulla sostanza del suo giudizio. Nel caso di MASS parlerei allora di automazione della percezione: il soldato rimane nel processo decisionale, ma sono alterate le condizioni cognitive e morali nelle quali decide.

Il titolo dell’episodio ci porta a una storia precedente all’intelligenza artificiale. Men Against Fire: The Problem of Battle Command è il volume pubblicato nel 1947 da Samuel Lyman Atwood Marshall, storico militare statunitense che, studiando il comportamento dei soldati americani durante la Seconda guerra mondiale, sostenne che soltanto il 15–20% dei fanti impiegasse effettivamente le proprie armi contro il nemico in combattimento. Marshall attribuiva questa riluttanza, almeno in parte, a una resistenza psicologica all’uccisione di un altro essere umano. Quelle percentuali e la metodologia che le produsse sono state successivamente sottoposte a contestazioni molto serie: sarebbe dunque sbagliato considerarle un dato scientificamente accertato. Resta però l’influenza esercitata dalla sua tesi sul modo di pensare l’addestramento e il comportamento dei combattenti.

Quasi cinquant’anni dopo, Dave Grossman, ex ufficiale statunitense, riprese quella riflessione in On Killing: The Psychological Cost of Learning to Kill in War and Society (1995). Per Grossman l’addestramento moderno, attraverso la ripetizione, il condizionamento e l’impiego di bersagli dalle sembianze umane, può ridurre la riluttanza a sparare contro un’altra persona. Anche alcune sue ricostruzioni quantitative restano controverse, ma il collegamento con Black Mirrornon è una congettura: Charlie Brooker ha indicato espressamente On Killing come una delle fonti di Men Against Fire, richiamando in particolare il rapporto tra distanza dall’obiettivo e conseguenze psicologiche dell’uccisione. In fondo, l’episodio immagina una trasformazione ancora più radicale. L’addestramento cerca di modificare la risposta del soldato di fronte a un essere umano; MASS fa in modo che il soldato non lo riconosca più come tale.

C’è un passaggio di Marshall che colpisce particolarmente, letto oggi. Scriveva che adattare la macchina all’uomo costituisce soltanto metà del problema e che l’altra metà consiste nel «conditioning man to the machine», nel condizionare l’uomo alla macchina. La frase aveva un significato preciso nel contesto del rapporto tra combattente, arma e addestramento. Riletta alla luce di Men Against Fire, assume però un significato più inquietante: la macchina non è più soltanto uno strumento al quale il corpo e la mente del soldato devono abituarsi; interviene essa stessa sui meccanismi percettivi che potrebbero trattenerlo dall’uccidere. Il volto dell’altro, la sua voce, le grida, la possibilità di riconoscerlo come una persona: tutto può essere rimosso o trasformato.

Del resto, il tentativo di modificare le condizioni psicofisiche nelle quali un combattente opera precede di molto Black Mirror. Nel Novecento si fece ricorso anche alla farmacologia. Durante la Seconda guerra mondiale gli psicostimolanti furono utilizzati dalle forze armate: il Pervitin, a base di metanfetamina, in quelle tedesche; le amfetamine, tra cui la Benzedrine, tra britannici e americani. Sarebbe inesatto presentare questi impieghi come un programma destinato semplicemente a trasformare i soldati in assassini. Gli stimolanti servivano soprattutto a contrastare la fatica, mantenere la vigilanza e prolungare la capacità operativa; potevano incidere anche sull’umore, sulla fiducia e sul comportamento. Ciò che mi interessa è la continuità della domanda, pur nella radicale differenza tra gli strumenti: fino a che punto si può intervenire sull’essere umano per renderlo più efficace in combattimento? L’addestramento agisce sulle risposte apprese, la farmacologia sullo stato psicofisico, MASS sulla percezione stessa di ciò che si ha davanti.

L’intelligenza artificiale introduce oggi una possibilità diversa, e per certi aspetti più sottile: modificare l’ambiente informativo nel quale una decisione viene presa. Non occorre immaginare un impianto capace di trasformare materialmente il volto del nemico. Un sistema di supporto decisionale può selezionare le informazioni da mostrare a un comandante, combinare dati provenienti da fonti diverse, classificare persone e oggetti, attribuire probabilità, stabilire priorità e segnalare un individuo come potenziale bersaglio. La macchina può lasciare formalmente all’essere umano la decisione finale e aver già contribuito in misura determinante a delimitare ciò che questi prenderà in considerazione.

Su questo insiste anche il Comitato internazionale della Croce Rossa, che ha richiamato l’attenzione sui rischi dei sistemi di supporto decisionale basati sull’IA. Questi strumenti possono facilitare l’analisi di grandi quantità di dati e, se progettati e utilizzati correttamente, contribuire a decisioni più informate. Possono però produrre anche automation bias: la tendenza ad attribuire un’autorità eccessiva alle indicazioni della macchina, soprattutto quando occorre decidere rapidamente, fino a limitarsi a ratificarne le conclusioni. Il rischio riguarda non solo l’errore di un algoritmo, ma anche la perdita della capacità umana di riconoscerlo come tale.

È qui che torno ancora a Watzlawick. Un sistema algoritmico contribuisce a costruire quella che potremmo chiamare la nostra realtà operativa, determinando ciò che diventa visibile, rilevante o sospetto. Immaginiamo che un sistema analizzi diecimila persone e me ne mostri dieci perché le considera potenzialmente pericolose. Posso ancora decidere che cosa fare di quelle dieci persone, ma il mio campo di attenzione è già stato strutturato da una selezione che non ho compiuto e della quale potrei non conoscere i criteri. L’intelligenza artificiale contemporanea non è MASS, e l’analogia non va forzata. L’episodio permette però di vedere con particolare chiarezza che il controllo su una decisione dipende anche dal controllo sulla rappresentazione che la precede.

C’è poi un altro aspetto dell’episodio che rende questa vicenda ancora più disturbante. La tecnologia non crea da sola il nemico. Quando Katarina riesce finalmente a parlare con Stripe, gli racconta gli screening, i controlli genetici, i registri e le misure d’emergenza attraverso i quali alcune persone sono state progressivamente isolate e rappresentate come portatrici di malattie e caratteristiche ereditarie indesiderabili. Alla fine, Katarina e Alec non sono più individui con un nome e una storia: appartengono alla categoria dei roaches. Prima che l’impianto trasformi visivamente una persona in un mostro, il linguaggio e le pratiche sociali l’hanno già trasformata in un essere al quale si può negare protezione.

C’è un dettaglio che lo mostra con particolare chiarezza: gli abitanti del villaggio non hanno MASS. Vedono i roaches per quello che sono, esseri umani, eppure li considerano ugualmente pericolosi e indesiderabili. Non hanno bisogno di un impianto neurale per disumanizzarli: bastano la propaganda, le classificazioni e i pregiudizi. MASS rende tecnologicamente più efficace, per chi deve esercitare materialmente la violenza, un processo che nella società è già avvenuto. Si può arrivare a non riconoscere l’umanità dell’altro anche continuando a vederlo perfettamente.

La storia delle persecuzioni mostra quanto spesso questo processo passi anche attraverso procedure amministrative dall’apparenza neutrale: classificare, registrare, separare, attribuire caratteristiche biologiche o ereditarie, sostituire alla persona concreta una categoria considerata pericolosa. Nell’episodio, il dispositivo tecnologico arriva alla fine di questa catena. E forse proprio per questo funziona così bene: la sua rappresentazione del nemico trova un terreno già preparato da anni di discorsi e pratiche discriminatorie.

Rimane il problema che, da giurista, non posso evitare: chi è responsabile? Stripe ha ucciso persone credendo di vedere creature mostruose. È difficile non considerarlo, almeno in parte, vittima della manipolazione. Questo, tuttavia, non basta né ad affermare né a escludere la sua responsabilità individuale. Occorrerebbe interrogarsi su ciò che sapeva, su quanto avrebbe potuto conoscere, sulla natura del suo errore e sulle possibilità effettive di sottrarsi all’ordine o di mettere in discussione ciò che vedeva. Le conseguenze giuridiche dipenderebbero inoltre dal contesto e dalle norme applicabili; l’episodio non offre elementi sufficienti per una qualificazione definitiva.

Fermarsi al soldato, d’altra parte, significherebbe ignorare il funzionamento del sistema che ha reso possibile l’uccisione. Chi ha stabilito quali persone classificare come roaches? Chi ha autorizzato le operazioni? Chi ha progettato e approvato una tecnologia capace di manipolare la percezione e la memoria? Chi conosceva gli effetti del dispositivo, e chi aveva il potere di impedirne l’impiego? L’intervento della tecnologia può rendere più difficile ricostruire le conoscenze, i poteri e le condotte dei diversi soggetti coinvolti. Non crea però una zona sottratta al diritto. Occorre distinguere le diverse forme di responsabilità, senza supporre che chi ha scritto un codice, chi ha comandato un’operazione e chi ha sparato rispondano automaticamente allo stesso titolo. Il punto è impedire che la distribuzione delle funzioni si trasformi in una distribuzione delle scuse.

C’è poi una scena che trovo particolarmente efficace, quella del consenso. Stripe protesta di non avere mai accettato ciò che gli è stato fatto. Gli mostrano una registrazione del momento dell’arruolamento: ha prestato il consenso, c’è la sua impronta, ci sono le condizioni. Una parte dell’accordo, però, riguarda proprio la manipolazione della memoria e della percezione, e dunque la possibilità che non ricordi più ciò che aveva accettato. È difficile non pensare alle condizioni d’uso dei servizi digitali, che spesso approviamo senza leggerle. Qui la questione è ben più radicale: che valore ha un consenso quando la tecnologia alla quale si acconsente è destinata a incidere sulle condizioni nelle quali l’individuo potrà successivamente comprendere la propria esperienza e le proprie azioni? E, soprattutto, anche un consenso effettivamente prestato potrebbe mai autorizzare qualsiasi trattamento o esonerare l’organizzazione dal rispetto dei propri obblighi giuridici? La risposta a quest’ultima domanda è negativa: il consenso individuale non rende lecite condotte altrimenti vietate.

Torno allora alla questione dalla quale ero partito. Marshall vedeva nella riluttanza del soldato a sparare un ostacolo all’efficacia militare; Grossman ha descritto il tentativo di ridurla attraverso l’addestramento; Black Mirror immagina di eludere il problema intervenendo su ciò che il soldato riesce a percepire. I sistemi di intelligenza artificiale ci obbligano oggi a porre una domanda collegata: quanto può essere selezionato, ordinato o trasformato l’ambiente informativo di chi decide, prima che il suo intervento diventi una semplice ratifica?

Forse dovremmo rivalutare ciò che dal punto di vista dell’efficienza appare come attrito: il dubbio, l’esitazione, l’empatia, il bisogno di controllare ancora una volta, la disponibilità a contestare ciò che una macchina ci mostra. Tutto questo può rallentare una decisione. In guerra, il tempo può essere scarso e anche l’esitazione può comportare rischi. Tuttavia, non ogni rallentamento è un difetto da eliminare. Distinguere tra un civile e un combattente, verificare se una persona possa essere legittimamente attaccata, valutare il rischio di danni incidentali ai civili e adottare le precauzioni concretamente praticabili richiedono informazioni e giudizi legati alle circostanze. Nessuna di queste operazioni si esaurisce nella lettura di un punteggio o di una classificazione automatica.

Dal punto di vista del diritto internazionale umanitario, le regole di distinzione, proporzionalità e precauzione nell’attacco continuano ad applicarsi anche quando vengono utilizzati strumenti di intelligenza artificiale. La proporzionalità, in particolare, richiede di valutare se le perdite incidentali previste per civili e beni civili sarebbero eccessive rispetto al vantaggio militare concreto e diretto previsto. I sistemi informatici possono assistere chi deve compiere tali valutazioni, senza sostituirsi al giudizio giuridico richiesto. Se una tecnologia presenta come certa una conclusione probabilistica, nasconde informazioni rilevanti o classifica preventivamente persone come minacce, attribuire formalmente a un essere umano l’ultima parola non assicura che quel giudizio sia stato davvero esercitato.

Se dovessi condensare Men Against Fire in una sola idea, direi questa: il problema può cominciare molto prima del momento in cui la macchina prende una decisione al posto dell’essere umano. Comincia già quando qualcun altro, attraverso la macchina, determina quale realtà l’essere umano potrà vedere prima di decidere. È qui che, per me, Watzlawick e Black Mirror finiscono per incontrarsi.

«Quanto è reale la realtà?» sembrava una domanda sulla comunicazione. Oggi può essere anche una domanda sul potere di selezionare e costruire la rappresentazione del mondo sulla quale altri saranno chiamati ad agire. E in guerra diventa, inevitabilmente, una domanda sulla vita e sulla morte: quanto è reale la realtà sulla base della quale stiamo decidendo di premere il grilletto?

P.S. Ripensandoci, la questione è molto più antica di Watzlawick. Mi viene in mente il mito della caverna che Platone racconta nel settimo libro della Repubblica. I prigionieri vedono soltanto le ombre proiettate sulla parete e le scambiano per la realtà, perché non hanno mai conosciuto altro. Stripe si trova in una condizione sorprendentemente simile: ciò che vede è per lui perfettamente reale, anche se qualcuno ha deciso in anticipo che cosa debba apparirgli. C’è però una differenza importante. Per Platone è possibile uscire dalla caverna e conoscere una realtà più autentica. Watzlawick ci pone davanti a un problema ulteriore: anche quando crediamo di esserci liberati dalle rappresentazioni ingannevoli, continuiamo a interpretare il mondo attraverso categorie, linguaggi e significati che contribuiscono a costruire ciò che consideriamo reale. E allora viene da chiedersi se il problema di Stripe sia soltanto quello di essere prigioniero di una realtà artificiale, oppure anche quello, assai più generale, di non avere gli strumenti per riconoscere quanto la propria percezione sia stata costruita da altri.

Fonti e riferimenti

Università degli Studi di Milano-Bicocca, Oltre lo specchio della tecnologia: social scoring, guerra e controllo, programma del ciclo di seminari, 2026.
Paul Watzlawick, How Real Is Real? Confusion, Disinformation, Communication, 1976; trad. it. La realtà della realtà. Comunicazione, disinformazione, confusione, Astrolabio-Ubaldini.
S. L. A. Marshall, Men Against Fire: The Problem of Battle Command, 1947; ried. University of Oklahoma Press, 2000, spec. p. 22 (sul condizionamento dell’uomo alla macchina).
Dave Grossman, On Killing: The Psychological Cost of Learning to Kill in War and Society, 1995.
Charlie Brooker, intervista a The Guardian, 19 ottobre 2016, «Charlie Brooker: ‘Someone threatened to smuggle a rifle through customs and kill me’».
Nicolas Rasmussen, «Medical Science and the Military: The Allies’ Use of Amphetamine during World War II», Journal of Interdisciplinary History, 42 (2011), pp. 205–233, DOI: 10.1162/JINH_a_00212.
Netta Goussac, Human control and AI-enabled military systems: Human rights risks, accountability and policy options for the European Union, Parlamento europeo, 2026 (riferimento da ricontrollare nella versione bibliografica definitiva).
International Committee of the Red Cross, Frequently asked questions: AI decision-support systems in armed conflict, 8 ottobre 2026.
International Committee of the Red Cross, Frequently asked questions: Artificial Intelligence (AI) in the military domain, 11 giugno 2026.