Algoritmi dakako nisu savršeni. Dizajnirali su ih ljudi, a oni su skloni pogreškama. Uz to, algoritmi lako mogu odražavati pristranost svojih tvoraca. Oni uče iz zadanih primjera; ako im se ne da dovoljno primjera iz različitih populacija, teže će ih prepoznati u praksi.

Muke s prepoznavanjem

Prošle godine Britanci su započeli izradu pravnog okvira za uvođenje autonomnih vozila na tamošnje ceste. Uočili su kako bi se ona mogla "mučiti s prepoznavanjem tamnoputih lica u mraku". U opasnosti su i osobe s invaliditetom jer, stoji u izvješću, "sustavi možda nisu osposobljeni da se nose s raznolikošću invalidskih kolica i skutera."

Do sličnih zaključaka došlo je i istraživanje Georgia Techa iz 2019. Tamošnji su stručnjaci istražili osam modela umjetne inteligencije koji se koriste u najsuvremenijim sustavima za detekciju objekata. Ovi sustavi omogućuju autonomnim vozilima da prepoznaju prometne znakove, pješake i druge objekte dok se kreću cestama.

Sustave su testirali koristeći dvije kategorije temeljene na Fitzpatrickovoj ljestvici, koja se obično koristi za klasifikaciju boje ljudske kože. Točnost sustava smanjila se za pet posto kad su mu predstavljene slike pješaka s tamnijim tonovima kože. "Ujednačeno lošiju izvedbu" modeli su pokazali kad su se suočili s pješacima s tri najtamnije nijanse na ljestvici.

Sveprisutni problemi

"Rasizam" u sustavima umjetne inteligencije nije ograničen na automobile. Amazonov softver za prepoznavanje lica Rekognition teško je prepoznavao tamnije tonove kože i ženska lica. U svibnju prošle godine ProPublica je izvijestila da je softver korišten za pomoć sucima u određivanju rizika koji počinitelj predstavlja od ponovnog počinjenja zločina bio pristran prema crncima. 

Ovaj sustav koriste suci pri izricanju kazni za kaznena djela; on daje ocjenu na temelju toga postoji li vjerojatnost da će osoba ponoviti kazneno djelo. Visoka ocjena sugerira da će ponoviti prekršaj, niska ocjena sugerira da je to manje vjerojatno.

Jednostavno rješenje

No, procjena rizika na više od 7000 ljudi u okrugu Broward na Floridi pokazala je kako se algoritam pokazao totalno nepouzdanim jer je samo 20 posto ljudi doista ponovilo nasilne zločine. Uz to, sustav je bio i rasno pristran. Tamnoputi optuženici bili su dvostruko češće označavani kako budući kriminalci, dok su bijeli optuženici češće označavani kao niskorizični.

Istraživači ističu važnost razvoja nepristranih sustava umjetne inteligencije. Problem nije nerješiv; kod autonomnih vozila to počinje jednostavnim povećanjem broja slika tamnoputih pješaka u skupovima podataka koji se koriste za obuku sustava, napominju oni.