Tendencija umjetnom inteligencijom pokretanih chatbotova da povremeno "haluciniraju", izmišljaju stvari, već je dobro dokumentirana. Chatbotovi su tako proizveli medicinske dezinformacije, izmislili pravne slučajeve i navodili nepostojeće citate.  

Sklonost izmišljanju

No, čini se da modeli umjetne inteligencije ne samo da vide nepostojeće stvari, oni ih i krivo čuju: Whisper, OpenAI-jev model umjetne inteligencije obučen za transkripciju audio ulaza sklon je izmišljanju rečenica, a dobar dio njih sadržava uvredljiv ili potencijalno štetan tekst, otkriva nova studija objavljena na arXivu. Izmišljanje događaja ili lijekova koje uzima neki pacijent samo su neki od takvih primjera, upozoravaju istraživači. 

Studija naglašava izazove s kojima se susreću alati za transkripciju: raznolikost govornih obrazaca diljem svijeta, kao i ograničenu dostupnost podataka o obuci. Nijedan sustav za pretvaranje govora u tekst još nije u stanju doista kvalitetno modelirati svu tu varijabilnost u artikulaciji i izgovoru, kažu autori.

Rubni slučajevi

Generativni chatbotovi oslanjaju se na velike jezične modele (LLM) koji primaju tekstualne upite i proizvode rezultate predviđajući vjerojatne riječi na temelju obrazaca naučenih nakon obuke na milijardama stranica teksta iz knjiga i web stranica. Sustavi transkripcije kombiniraju te jezične modele s audio modelima koji uče prikaze govornih obrazaca.

Veliki modeli umjetne inteligencije rade dobro: njihove su transkripcije točnije od drugih alata za pretvaranje govora u tekst koji se oslanjaju na male jezične modele. Ali, upozorava studija, čak i ako njihova izvedba izgleda bolje od prosjeka, i dalje postoje rubni slučajevi unutar samog teksta koji bi mogli promaknuti korisnicima uvjerenima da Whisper sve vjerno transkribira.

Štetne izmišljotine 

Istraživanje je pokazalo da Whisper izmišlja otprilike 1,2% transkribiranih audio segmenata, odnosno 1,7% audio segmenata govornika s afazijom. Još gore, oko 40% izmišljenih segmenata bilo je štetno ili zabrinjavajuće. 

Otprilike polovica takvih izmišljotina aludiralo je na nasilje i seksualne aluzije. Na primjer, audiozapis o slučaju u kojem su vatrogasci spašavali muškarca i njegovu mačku u tekstualnom je obliku dobio i izmišljene dodatke o "krvlju natopljenim kolicima" i "maženju", dok je zvuk otvaranja kišobrana opisan kao "nož terorista", a spominjalo se i ubijanje ljudi. 

Audio halucinacije uključuju i lažne informacije o osobi, poput izmišljenih imena, veza ili zdravstvenog stanja, te krađu identiteta s umetanjem poveznica na stvarne ili nepostojeće web stranice.

Razlog za halucinacije

Jedan od razloga za izmišljeni tekst mogle bi biti upravo duge stanke u govoru kod osoba s afazijom. Tišina i glasanje s otezajućim zvukovima 'aaa', hmmm' i sličnima ne tumači se kao tišina; jezični model ih uzima kao stvarne riječi i na temelju njih stvara čitave izmišljene rečenice, pretpostavljaju istraživači.

Izmišljotine bi također mogle biti rezultat generativne prirode temeljnog jezičnog modela za koji je vezan alat za transkripciju. Prema ljestvici najboljih evaluacija tvrtke Vectara, stope halucinacija mogu iznositi čak 16,2%. Najbolje rezultate postiže OpenAI GPT 4 Turbo  - 2,5%.

Ažuriranje modela

Problema je svjestan i sam OpenAI, no iznenađuje broj stvarno štetnih halucinacija. Tvrtka je stoga ažurirala svoj model kako bi preskočio razdoblja tišine i ponovno transkribirao zvuk ako softver otkrije vjerojatnu halucinaciju. Ažurirani Whisper eliminirao je većinu izmišljotina pronađenih u prethodnim testovima.

To samo ukazuje na potrebu redovitih revizija za provjeru halucinacija i uključivanje povratnih informacija u modele, kažu istraživači koji su proučavali samo obrasce govora proizašle iz afazije. No, postoje i druge vrste nepravilnog govora, poput glasova djece i starijih osoba ili govornika kojima jezik nije materinji, što također može rezultirati halucinacijama. 

"Obuka ovih sustava trebala bi se provoditi na govoru različitih skupina govornika i iz različitih stilova govora", zaključuju istraživači koji preporučuju provjeru rezultata svakog AI alata za transkripciju, posebno ako se koriste za donošenje važnih odluka.