U srpnju i rujnu ove godine 15 najvećih AI kompanija potpisalo je dobrovoljne obveze za upravljanje rizicima koje predstavlja umjetna inteligencija. Jedna od njih odnosila se na transparentnost uz obećanje da će dijeliti informacije "s industrijom i s vladama, civilnim društvom i akademskom zajednicom", te da će javno izvještavati ​​o mogućnostima i ograničenjima svojih AI sustava. Zvuči sjajno, no što je zapravo transparentnost kad se govori o moćnim i prilagodljivim modelima kao što su OpenAI-jev GPT-4 ili Googleov PaLM 2?

Sve manje transparentnosti

Odgovor na to pitanje daje nam netom objavljeni izvještaj Stanfordovog centra za istraživanje temeljnih modela (CRFM). Deset najvećih takvih modela ocijenjeno je prema 100 različitih pokazatelja, a rezultati su blago rečeno nezadovoljavajući. Najveću ukupnu ocjenu na testu dobio je Metin Llama 2. No razloga za slanje nema: Llamina 54 boda od 100 mogućih u školi bi se smatralo lošom, jedva prolaznom ocjenom. 

Nijedan glavni programer temeljnih modela nije blizu pružanja odgovarajuće transparentnosti. Štoviše, kako njihov utjecaj raste, transparentnost modela i tvrtki pada, upozoravaju istraživači, podsjećajući da je OpenAI prelaskom s GPT-3 na GPT-4 odlučio uskratiti sve informacije o arhitekturi, uključujući veličinu modela, hardveru, obuci i metodama treninga.

Faktori transparentnosti

Stotinu metrika transparentnosti uključuje upstream faktore koji se odnose na obuku, zatim informacije o svojstvima i funkciji modela te downstream faktore vezane uz distribuciju i upotrebu modela. 

"Nije dovoljno da organizacija bude transparentna kada objavljuje model; stvari bi trebale biti transparentne i kad je riječ o resursima koji ulaze u taj model, o procjenama mogućnosti tog modela i o tome što se događa nakon izdavanja", smatraju istraživači sa Stanforda koji su modele ocijenili prema 100 pokazatelja. Pročešljali su sve javno dostupne podatke i dali modelima 1 ili 0 za svaki pokazatelj prema unaprijed određenim kriterijima. 

Podaci o obuci

Podrijetlo podataka o obuci za temeljne modele postalo je vruća tema, s nekoliko tužbi u kojima se navodi da su AI tvrtke nezakonito uključile autorski materijal zaštićen autorskim pravima u svoje skupove podataka za obuku, podsjeća IEEE Spectrum. Indeks transparentnosti pokazao je da većina tvrtki nije bila otvorena u vezi sa svojim podacima.

Model Bloomz tvrtke Hugging Face dobio je najveću ocjenu u ovoj kategoriji, 60 posto; niti jedan drugi modela nije postigao rezultat iznad 40 posto, a nekoliko ih je dobilo čistu nulu.

Prešućene informacije

Kompanije su također uglavnom šutjele o temi rada. Na primjer, OpenAI koristi učenje s potkrepljenjem iz ljudskih povratnih informacija kako bi modele poput GPT-4 naučio koji su odgovori najprikladniji i najprihvatljiviji za ljude. Ali većina programera ne objavljuje informacije o tome tko su ti ljudski radnici i koliko su plaćeni, a sumnja se i da se taj posao povjerava radnicima s niskim plaćama u zemljama poput Kenije. 

Tri otvorena modela - Llama 2, Bloomz i Stable Diffusion - trenutno prednjače u transparentnosti, postižući više ili jednake ocjene najboljem zatvorenom modelu. No, postoji mnogo kontroverzi oko toga trebaju li uopće tako moćni modeli biti otvorenog koda i stoga potencijalno dostupni baš svakome.

Godišnje ažuriranje

Važno je upamtiti da čak i ako je model dobio visoku ocjenu transparentnosti u trenutnom indeksu, to ne bi nužno značilo da je uzor vrline umjetne inteligencije. Ako bi tvrtka otkrila da je model treniran na materijalu zaštićenom autorskim pravima i da su ga usavršavali radnici s plaćom nižom od minimalne, svejedno bi zaradila bodove za transparentnost podataka i rada.

Stanfordovi istraživači svoj indeks namjeravaju ažurirati barem jednom godišnje i nadaju se da će njihova zapažanja koristiti zakonodavcima prilikom pisanja zakona vezanih uz umjetnu inteligenciju.