AI obučen na podacima generiranim umjetnom inteligencijom brzo propada

Tehnološke tvrtke koje se oslanjaju na sadržaj koji stvaraju ljudi bit će u prednosti i zbog toga će razvijati učinkovitiju umjetnu inteligenciju

Mladen Smrekar četvrtak, 25. srpnja 2024. u 22:41
Kolaps modela neizbježan je ishod treninga u kojem AI model koristi skupove podataka za obuku koje su stvorile prethodne generacije 📷 Pixlr
Kolaps modela neizbježan je ishod treninga u kojem AI model koristi skupove podataka za obuku koje su stvorile prethodne generacije Pixlr

Korištenje skupova podataka generiranih umjetnom inteligencijom za treniranje budućih generacija modela strojnog učenja može zagaditi njihov rezultat, koncept poznat kao kolaps modela, prema radu objavljenom u časopisu Nature.

Kolaps modela

Istraživanje Sveučilišta u Oxfordu, u kojem su sudjelovali i istraživači Sveučilišta u Cambridgeu te Imperial Collegea u Londonu, pokazuje da se unutar nekoliko generacija izvorni sadržaj zamjenjuje nepovezanim besmislicama, što pokazuje važnost korištenja pouzdanih podataka za treniranje AI modela.

Kolaps modela odnosi se na degenerativni proces učenja u kojemu modeli s vremenom počinju zaboravljati događaje jer model postaje zatrovan vlastitom projekcijom stvarnosti 📷 Ilia Shumailov, Yarin Gal
Kolaps modela odnosi se na degenerativni proces učenja u kojemu modeli s vremenom počinju zaboravljati događaje jer model postaje zatrovan vlastitom projekcijom stvarnosti Ilia Shumailov, Yarin Gal

Istraživači su koristili matematičke modele kojima su ilustrirali kako modeli umjetne inteligencije mogu doživjeti kolaps. Njihov rad je pokazao da umjetna inteligencija može previdjeti određene rezultate u podacima za obuku i samu sebe obučavati samo na dijelu skupa podataka, a istražili su i kako modeli umjetne inteligencije reagiraju na skup podataka za obuku, pretežno stvoren uz pomoć umjetne inteligencije. 

Istraživači s Oxforda otkrili su da modeli obučeni na generiranim podacima mogu naučiti nešto od izvornog zadatka, ali s pogreškama, kao što se vidi iz povećanja zbunjenosti 📷 Ilia Shumailov, Yarin Gal
Istraživači s Oxforda otkrili su da modeli obučeni na generiranim podacima mogu naučiti nešto od izvornog zadatka, ali s pogreškama, kao što se vidi iz povećanja zbunjenosti Ilia Shumailov, Yarin Gal

Degradacija sposobnosti

Unos podataka generiranih umjetnom inteligencijom u model dovodi do degradacije sposobnosti učenja budućih generacija, što na kraju dovodi do kolapsa modela, upozoravaju istraživači. Naime, gotovo svi testirani rekurzivno uvježbani jezični modeli imali su tendenciju prikazivanja fraza koje se ponavljaju. 

Kolaps modela neizbježan je ishod treninga u kojem AI model koristi skupove podataka za obuku koje su stvorile prethodne generacije, zaključuju autori. Umjetna inteligencija može se uspješno trenirati s vlastitim rezultatima, ali se filtriranje tih podataka mora shvatiti ozbiljno: u prednosti su tehnološke tvrtke koje se oslanjaju na sadržaj koji stvaraju ljudi i one će zbog toga razvijati učinkovitiju umjetnu inteligenciju, zaključuju istraživači.