In una delle scene più iconiche del film La matrice il personaggio principale Neo vede un gatto nero, che fa esattamente gli stessi movimenti due volte di seguito. Quando Neo racconta agli hacker Trinity e Morpheus del suo déjà vu, avviano immediatamente un'ampia operazione di sicurezza. È chiaro che c'è qualcosa di completamente sbagliato. I due hacker, che sono leader di un movimento di resistenza illegale che combatte il totalitarismo digitale di Matrix, spiegano frettolosamente a Neo che un déja-vu rappresenta tipicamente un "problema tecnico" nel sistema operativo di Matrix. Un glitch è più di un semplice fenomeno casuale e transitorio, è un segno di una minaccia sistemica più estesa, il che significa che sono in pericolo imminente.
La famosa sequenza del film di La matrice costituisce il punto focale per la discussione del professore di studi afroamericani di Princeton Ruha Benjamin sul razzismo sistemico nel libro Corsa dopo la tecnologia: Strumenti abolizionisti per il nuovo codice Jim.
L'algoritmo delle immagini di Google
Un esempio di a problema tecnico che la maggior parte delle persone probabilmente ricorda è l'app fotografica molto apprezzata di Google, che nel 2015 brillava con il riconoscimento automatico delle immagini fino a quando non ha identificato erroneamente una giovane coppia nera come "gorilla". Comprensibilmente, il gigante IT è uscito in una tempesta di merda. Il capo architetto dei social media di Google all'epoca, Yonatan Zunger, si scusò rapidamente. È stato, ovviamente, un profondo graffio nella vernice per un'azienda levigata come Google, che ha costruito il suo nome e la sua reputazione attorno al motto "non essere cattivo". Google ha assicurato di aver messo i suoi migliori programmatori al lavoro sull'algoritmo di riconoscimento delle immagini. Tuttavia, si è rivelato difficile trovare la causa dell'errore e la soluzione è stata rimuovere completamente il tag immagine "gorilla" dal vocabolario dell'algoritmo.
Gli algoritmi possono anche discriminare attivamente e riprodurre i pregiudizi sociali esistenti.
L'esempio di GoogleL'algoritmo dell'immagine di si imprime nella retina collettiva come uno degli esempi più chiari del fatto che l'intelligenza artificiale non rappresenta necessariamente un approccio aperto al mondo. Gli algoritmi possono anche discriminare attivamente e riprodurre i pregiudizi sociali esistenti. Gli esempi nel libro di Benjamin sono innumerevoli: una ricerca di immagini per "tre adolescenti neri" si traduce in foto criminali della polizia di giovani neri, mentre la ricerca di "tre adolescenti bianchi" restituisce invece immagini di studenti sorridenti delle scuole superiori. O che dire del software di riconoscimento vocale che non è in grado di comprendere il dialetto afroamericano, perché è stato sviluppato per attrarre un gruppo target più ricco di cittadini bianchi e benestanti della classe media? E all'estremità più pesante della scala, abbiamo gli "algoritmi preventivi" che prevengono i crimini, che classificano i bambini dei quartieri neri come "membri di bande"...
Secondo Benjamin, non c'è motivo di supporre che tali esempi siano l'eccezione. Tutti questi difetti più o meno spettacolari della vita quotidiana negli Stati Uniti, come quando il GPS legge Malcolm X Boulevard come Malcolm 10 (!) Boulevard, puntano nella direzione di un fallimento sistemico più esteso nell'infrastruttura digitale che chiamiamo Internet , secondo Beniamino. E l'ultimo decennio, con l'ascesa del movimento Alt-Right, Trump e i troll razzisti, ha anche chiarito a tutti che Internet è ben lungi dall'essere solo un'autostrada dell'informazione diretta verso la libertà.
Una travolgente "architettura ostile"
Il problema, secondo Benjamin, non è quindi solo il razzismo di la rete. Come esemplifica l'app Foto di Google, il razzismo è letteralmente scritto nei codici, nei protocolli e negli algoritmi di Internet. Certo, è inquietante quando individui razzisti si riuniscono in vari forum su Internet con l'obiettivo di troll persone di diversa etnia o orientamento sessuale rispetto al proprio. Ma piuttosto che studiare racisme a livello individuale, Benjamin è più interessato a scoprire come la nostra infrastruttura digitale comune assuma la forma di una "architettura ostile" globale. Riferendosi all'urbanista americano Robert Moses, che avrebbe deliberatamente costruito alcuni ponti autostradali a New York così bassi che gli autobus del trasporto pubblico dei quartieri più poveri e prevalentemente neri non potevano passarci sotto, Benjamin scrive: "La verità accademica che la razza è 'costruita' , raramente prende in considerazione strutture in calcestruzzo così completamente concrete, e ancor meno per le strutture digitali."
Gran parte di ciò che chiamiamo intelligenza artificiale o l'intelligenza artificiale non è altro che un potenziamento digitale dei pregiudizi sociali esistenti. Che il razzismo sia scritto nei codici dell'architettura, della società civile e del sistema legale è, come sottolinea Benjamin, già molto prima dell'introduzione dell'intelligenza artificiale. Esiste un'alternativa scientificamente più solida ed eticamente neutra al processo decisionale umano e all'interpretazione dei dati?
Razzismo automatizzato
La segregazione razziale più o meno esplicita nell'era americana di Jim Crow – che si estendeva dalle norme sociali ai sistemi legali di apartheid, ad esempio nel sistema scolastico o nel sistema carcerario – è stata ora tradotta algoritmicamente in quello che Benjamin chiama un nuovo "Codice Jim", un déjà vu di dimensioni storiche. Con la descrizione di Benjamin dell'automazione del razzismo, diventa così chiaro che la "razza" stessa è una tecnologia – un marcatore sociale più o meno insignificante, in cui l'input di dati codificati può essere utilizzato per ordinare, classificare e discriminare. Allora come adesso.
Ciò che rimane è il compito di creare nuovi strumenti abolizionisti, che possano essere utilizzati sia per abbattere l'architettura ostile di Matrix sia per costruire con essa un nuovo mondo.
