(QUESTO ARTICOLO È TRADOTTO DA Google dal norvegese)
In una delle scene più iconiche del film La matrice il personaggio principale Neo vede un gatto nero, che fa esattamente gli stessi movimenti due volte di seguito. Quando Neo racconta agli hacker Trinity e Morpheus del suo déjà vu, avviano immediatamente un'ampia operazione di sicurezza. È chiaro che c'è qualcosa di completamente sbagliato. I due hacker, che sono leader di un movimento di resistenza illegale che combatte il totalitarismo digitale di Matrix, spiegano frettolosamente a Neo che un déja-vu rappresenta tipicamente un "problema tecnico" nel sistema operativo di Matrix. Un glitch è più di un semplice fenomeno casuale e transitorio, è un segno di una minaccia sistemica più estesa, il che significa che sono in pericolo imminente.
La famosa sequenza del film di La matrice costituisce il punto focale per la discussione del professore di studi afroamericani di Princeton Ruha Benjamin sul razzismo sistemico nel libro Corsa dopo la tecnologia: Strumenti abolizionisti per il nuovo codice Jim.
L'algoritmo delle immagini di Google
Un esempio di a problema tecnico come probabilmente ricorderete, si tratta dell'apprezzata Photo App di Google, che già nel 2015 brillava con il riconoscimento automatico delle immagini finché non identificò erroneamente una giovane coppia nera come «gorilla». Comprensibilmente, il gigante dell’IT è uscito in una tempesta di merda. L'allora capo architetto dei social media di Google, Yonatan Zunger, si scusò immediatamente. Si è trattato ovviamente di un graffio profondo per un'azienda raffinata come Google, che ha costruito il suo nome e la sua reputazione attorno al motto «non essere cattivo». Google ha assicurato di aver incaricato i suoi migliori programmatori di monitorare l'algoritmo di riconoscimento delle immagini per le cuciture. Tuttavia si è rivelato difficile individuare la causa dell'errore e la soluzione è stata quella di rimuovere completamente il tag immagine «gorilla» dal vocabolario dell'algoritmo.
Gli algoritmi possono anche discriminare e riprodurre attivamente i pregiudizi sociali esistenti.
L'esempio di GoogleL'algoritmo delle immagini di è impresso nella retina collettiva come uno degli esempi più chiari del fatto che l'intelligenza artificiale non rappresenta necessariamente un approccio di mentalità aperta al mondo. Gli algoritmi possono anche discriminare e riprodurre attivamente i pregiudizi sociali esistenti. Gli esempi nel libro di Benjamin sono innumerevoli: una ricerca di immagini per "tre adolescenti neri" restituisce foto criminali della polizia di giovani uomini neri, mentre la ricerca di "tre adolescenti bianchi" restituisce immagini di studenti sorridenti delle scuole superiori. O che dire del software di riconoscimento vocale che non riesce a comprendere il dialetto afro-americano perché è stato sviluppato per attrarre un pubblico target più ricco di cittadini bianchi, benestanti e della classe media? E all’estremità più alta della scala, abbiamo gli “algoritmi preventivi” per la prevenzione del crimine, che classificano i bambini provenienti dai quartieri neri come “membri di gang”…
Secondo Benjamin non c’è motivo di supporre che tali esempi costituiscano un’eccezione. Tutti questi problemi più o meno spettacolari della vita quotidiana negli Stati Uniti, come quando il GPS legge Malcolm X Boulevard come Malcolm 10 (!) Boulevard, puntano nella direzione di un fallimento più completo e sistemico nell’infrastruttura digitale che chiamiamo Internet. , secondo Beniamino. E l’ultimo decennio, con l’ascesa del movimento Alt-Right, di Trump e dei troll razzisti, ha anche reso chiaro a tutti che Internet è ben lungi dall’essere solo un’autostrada informativa diretta verso la libertà.
Una travolgente «architettura ostile»
Il problema, secondo Benjamin, non è quindi solo il razzismo di Internet. Come esemplifica l'app Foto di Google, il razzismo è letteralmente scritto nei codici, nei protocolli e negli algoritmi di Internet. Naturalmente è inquietante quando individui razzisti si riuniscono in vari forum Internet con l'obiettivo di troll persone di etnia o orientamento sessuale diverso dal proprio. Ma piuttosto che studiare racisme a livello individuale, Benjamin è più interessato a scoprire come la nostra infrastruttura digitale comune assume la forma di un’«architettura ostile» generale. Riferendosi all'urbanista americano Robert Moses, che presumibilmente costruì deliberatamente alcuni ponti autostradali a New York così in basso che gli autobus del trasporto pubblico provenienti dai quartieri più poveri e prevalentemente neri non potevano passare sotto di loro, Benjamin scrive: "La verità accademica che la razza è 'costruita' , raramente tiene conto di strutture in calcestruzzo così completamente concrete, e ancor meno delle strutture digitali.»
Gran parte di ciò che chiamiamo intelligenza artificiale oppure l’intelligenza artificiale non è altro che un potenziamento digitale dei pregiudizi sociali esistenti. Che il razzismo sia inscritto nei codici dell’architettura, della società civile e del sistema legale è, come sottolinea Benjamin, già vero molto prima dell’introduzione dell’intelligenza artificiale. È un’alternativa scientificamente più solida ed eticamente neutra al processo decisionale umano e all’interpretazione dei dati?
Razzismo automatizzato
La segregazione razziale più o meno esplicita nell'era americana di Jim Crow – che si estendeva dalle norme sociali ai sistemi di apartheid statutari, ad esempio nel sistema scolastico o nel sistema carcerario – è stata ora tradotta algoritmicamente in quello che Benjamin chiama un nuovo "Codice Jim", un déjà vu di dimensioni storiche. Con la descrizione di Benjamin dell'automazione del razzismo, diventa quindi chiaro che la «razza» stessa è una tecnologia – un indicatore sociale più o meno privo di significato che, come input di dati codificati, può essere utilizzato per ordinare, classificare e discriminare. Allora come adesso.
Ciò che resta quindi è il compito di creare nuovi strumenti abolizionisti che possano essere utilizzati sia per abbattere l’architettura ostile di Matrix sia per costruire con essa un nuovo mondo.
