Umjetni neuron pokreće proračune neuronske mreže koristeći do 1.000 puta manje energije

Osposobljavanje neuronskih mreža za obavljanje zadataka, poput prepoznavanja slika ili navigacije, moglo bi zahtijevati manje računalne snage i hardvera zahvaljujući uređaju s umjetnim neuronima

Mladen Smrekar ponedjeljak, 3. svibnja 2021. u 17:30

Uređaj koji su razvili istraživači sa Sveučilišta u Kaliforniji u San Diegu izvodi proračune neuronske mreže koristeći 100 do 1.000 puta manje energije i površine od postojećeg hardvera temeljenog na CMOS-u. Pojedinosti o ovom uređaju opisane su u radu objavljenom u časopisu Nature Nanotechnology.

Uređaj veličine nanometra

Neuronske mreže su nizovi povezanih slojeva umjetnih neurona, gdje izlaz jednog sloja daje ulaz sljedećem. Generiranje se obavlja primjenom matematičkog izračuna, nelinearne aktivacijske funkcije.

Uređaj s umjetnim neuronom koji su izradili inženjeri sveučilišta u San Diegu
Uređaj s umjetnim neuronom koji su izradili inženjeri sveučilišta u San Diegu

Ovo je kritičan dio upravljanja neuronskom mrežom. Primjena ove funkcije zahtijeva puno računalne snage i sklopova jer uključuje prijenos podataka naprijed-nazad između dvije odvojene jedinice - memorije i vanjskog procesora. No, sada su istraživači UC San Diego razvili uređaj veličine nanometara koji učinkovito aktivira funkciju.

"Proračuni neuronske mreže u hardveru postaju sve neučinkovitiji kako modeli neuronske mreže postaju sve veći i složeniji", objašnjava Duygu Kuzum, profesor elektrotehnike i računalnog inženjerstva na Jacobs School of Engineering, koji je sudjelovao u izradi uređaja s umjetnim neuronom koji izračune implementira u hardver štedeći prostor i energiju.

Mottov prijelaz u vanadij-dioksidu

Uređaj implementira ispravljenu linearnu jedinicu, jednu od najčešće korištenih aktivacijskih funkcija u treningu neuronske mreže. Ovoj funkciji treba hardver koji može postupno mijenjati otpor. I upravo su to učinili istraživači iz San Diega: projektirali su uređaj koji se postupno može prebaciti iz izolacijskog u provodno stanje i to uz pomoć malo topline.

Istraživači su koristili mrežu za obradu fotografije sveučilišne knjižnice Geisel
Istraživači su koristili mrežu za obradu fotografije sveučilišne knjižnice Geisel

Takozvani Mottov prijelaz odvija se u nanometarski tankom sloju vanadij-dioksida. Iznad ovog sloja nalazi se grijač nanožica od titana i zlata. Kad struja teče kroz nanožicu, sloj vanadij-dioksida polako se zagrijava, što uzrokuje polagani, kontrolirani prelazak s izolacijskog na provodni tok.

Sposoban za konvolucijske operacije 

Arhitektura ovog uređaja zanimljiva je i inovativna. Istraživači su prvo proizveli niz aktivacijskih (ili neuronskih) uređaja, zajedno s nizom sinaptičkih uređaja. Zatim su ta dva niza integrirali na prilagođenu tiskanu pločicu i povezali ih kako bi stvorili hardversku verziju neuronske mreže.

Istraživači su koristili mrežu za obradu fotografije sveučilišne knjižnice Geisel. Mreža je izvela detekciju ruba koja identificira obrise ili rubove objekata na slici. Ovaj eksperiment pokazao je da integrirani hardverski sustav može izvoditi konvolucijske operacije ključne za mnoge vrste dubokih neuronskih mreža.

Neuralna mreža
Neuralna mreža

Trenutno je ovo samo dokaz koncepta; maleni sustav u kojem sloj sinapse složen sa slojem za aktiviranje. Sklapanjem više slojeva mogao bi se napraviti i složeniji sustavi različitih primjena. Ovom tehnologijom mogla bi se, naprimjer, prepoznavati lica i predmeti u samovozećim automobilima, najavljuju istraživači.