dSPACE privatna je njemačka kompanija koja postoji više od 30 godina, specijalizirana je za razvoj alata za razvoj elektroničkih kontrolnih jedinica, što znači da oni obavljaju sve predradnje kako bi vozila mogla postati autonomna. Svoja rješenja, u obliku gotovog softvera za autonomne automobile, prodaju proizvođačima takvih automobila. Cijeli se proces razvoja obavlja prema najvišim standardima autoindustrije, a njegov dio odrađuje se i u Zagrebu, gdje dSPACE u centru za istraživanje i razvoj ima preko 100 zaposlenika. Porazgovarali smo s njihovim stručnjacima kako bismo dobili bolji uvid u ono što je potrebno da autonomna vozila "nauče voziti".

Od podataka do realistične simulacije

O tome kako dSPACE pomaže dovesti autonomna vozila na ceste budućnosti, govorio nam je doktorand na FER-u Vjekoslav Diklić: "Kako biste bili sigurni da će vas autonomno vozilo sigurno voziti i dovesti do krajnje točke, potrebno je njegovo ponašanje 'istrenirati' i testirati. Kako takav proces ne bi trajao dugo, i pritom ugrozio druge sudionike u prometu, ti procesi obavljaju se u simulacijskom svijetu. No, kako bi bilo moguće tvrditi da je vozilo sigurno, potrebno je proći veliki broj simulacijskih scenarija vožnje. Uz veliki broj simulacijskih scenarija, također je potrebno da su te simulacije što bliže stvarnom svijetu. dSPACE pomaže svojim klijentima prilikom kreiranja realističnih simulacijskih scenarija stvarnog svijeta, baziranih na podacima prikupljenim na stvarnim cestama, na kojima se umjetna inteligencija uči voziti, kočiti, prepoznavati opasne situacije – ukratko, sudjelovati u prometu.

Za simulaciju iz koje sustavi autopilota mogu učiti potrebno je realistično simulirati odziv mnogobrojnih senzora i korelirati ih u realnom vremenu, obično kraćem od 20 ms. Prema teoriji, postoje dva puta izrade scenarija: tradicionalno slaganje parametara vožnje prema iskustvu, ili rekonstrukcijom iz ranije snimljenih podataka za vrijeme vožnje. Oba vode do niza parametara koji opisuju scenarij vožnje, a iz takvog opisa moguće je dobiti kompletan niz 'novih' scenarija sustavnom izmjenom parametara. Primjerice, prilikom testiranja ili treniranja autopilota za autonomno kočenje, tj. izbjegavanje naleta na drugo vozilo, moguće je ciljano mijenjati udaljenost između vozila, brzinu kojom su se ona kretala, doba dana, vremenske uvjete... Takvim promjenama, od inicijalno jednog scenarija, stvoren je niz scenarija koji opisuju isti događaj, no mogu imati potpuno drugačiji ishod", kaže Diklić te nastavlja:

"Konačna simulacija parametrizira se u alatu ModelDesk, a može biti simulirana u našim simulacijskim alatima Aurelionu (baziran na Unreal Engineu), ili nešto starijem alatu MotionDesk. Osim standardnih mogućnosti jedne simulacije vožnje, naši alati omogućuju detaljnu simulaciju većine senzora koji se koriste u autoindustriji. Jedan od senzora na koji se dSPACE podosta skoncentrirao je i radar, pa je razvijen i poseban sustav za testiranje radarskih senzora za autoindustriju DARTS".

Prikupljanje podataka

Odakle dolaze podaci za stvaranje realističnih simulacija, koje su podloga za učenje vožnje, odgovorio nam je Hrvoje Marinović, razvojni inženjer softvera, zaposlen u dSPACE-u, koji radi na projektu sa sestrinskom tvrtkom Understand AI:

"Podaci za stvaranje realističnih simulacija dolaze iz snimki vožnje u stvarnom svijetu. Najjednostavniji primjer formata takve snimke je video snimljen jednom kamerom. Takav setup rijetko se koristi u praksi, jer ne sadržava dovoljno podataka. Standardna oprema za snimanje na vozilu sastoji se od nekoliko kamera, jednog ili više lidara te senzora IMU (Inertial measurement unit) ili GPS-a. Kamere mogu biti postavljene na različite načine, i može ih biti jedna ili više, pri čemu je idealno da pokrivaju 360°. Svi senzori moraju imati što preciznije podatke o kalibraciji, kako bi se mogli rekreirati cijeli scenariji – prateći podatke o gibanju vozila možemo rekreirati cijeli 3D prostor kroz koji je vozilo prolazilo, a koristeći slike, taj prostor može dobiti i realne teksture te izgledati vrlo uvjerljivo", kaže Marinović.

Pitali smo ga i kakvi su izazovi u tom procesu...

"Svaki proizvođač ima drugačiji skup senzora na vozilu, pa kada se pristupa novom setu podataka, gotovo je uvijek potrebno doraditi postojeći, ili čak razviti novi alat za učitavanje podataka u naš sustav. Osim toga, i format snimljenih podataka varira te zna biti izazov otkriti kako ga uopće pročitati. Kada uspijemo pročitati snimljene podatke, tada ih učitavamo u naš standardni format s koji naš sustav zna raditi.

Nakon što sirovi podaci dobiju standardni oblik, potrebno ih je obilježiti. Manualno obilježavanje podataka dosta je spor proces, a najviše možemo proizvesti 500.000 anotacija dnevno, i to samo ako govorimo o 2D anotacijama. Kod 3D anotacija, taj je broj osjetno manji. S druge strane, automatiziranim označavanjem u stanju smo proizvesti do 10.000 anotacija u sekundi. Prosječno vrijeme stvaranja jedne automatizirane anotacije nešto je manje od dvije sekunde, a paralelizacijom i skaliranjem sustava u stanju smo doseći i 0,0001 sekundi po anotaciji. Sustav za automatske anotacije je neuronska mreža, koja uči iz ranije manualno označenih podataka. Kako bi automatski sustav označavanja mogao brzo, dobro i s dovoljnom točnošću raditi, potrebno je imati dovoljno takvih podataka, pa za svaku novu kategoriju oznaka značajna količina podataka mora biti označena ručno", zaključio je Marinović.

Simuliranje pješaka u prometu

dSPACE-ov stručnjak za pitanja pješaka u kombinaciji s autonomnom vožnjom, dr. sc. Jakov Topić, otkrio nam je nekoliko pojedinosti o tom pogledu na automatizaciju upravljanja vozilima:

"Veliki napori ulažu se u poboljšanje sigurnosti cestovnog prometa, posebno u odnosu na ranjive sudionike u prometu kao što su pješaci, koji sudjeluju u značajnom dijelu prometnih nesreća sa smrtnim ishodom. Stoga se u autonomna vozila integriraju različiti pasivni i aktivni sigurnosni sustavi usmjereni na provođenje hitnih intervencija u kritičnim situacijama, primjerice, kočenje ili naglo skretanje vozila, kako bi se izbjegao ili barem ublažio sudar.

Jedna od glavnih prepreka za šire usvajanje tih sustava je njihova osjetljivost na lažno pozitivne detekcije, u kojima bi radnja mogla biti nepotrebno pokrenuta. Vrlo je značajna i pravodobna aktivacija sigurnosnih sustava, gdje bi rano djelovanje moglo iritirati vozača, a prekasno djelovanje moglo bi uzrokovati neizbježnu nesreću. Prije testiranja u stvarnom okruženju koriste se virtualne simulacije, a u slučaju pješaka modeliranje predstavlja izazovan zadatak, zato što treba obuhvatiti složeno ponašanje i vozača i pješaka, kao i njihovih interakcija. Razlog tome je inherentna složenost ljudskog ponašanja i utjecaja okoline te brojnih čimbenika koji određuju pješake (primjerice, veličina skupine, dob, spol, pozornost, putanja i sl.)", napominje Topić.

"U sklopu istraživanja na kojem sam sudjelovao na zagrebačkom FSB-u, razmotren je i dodatno unaprijeđen model ponašanja pješaka temeljen na teoriji igara, koji uključuje podmodele za percepciju okoline, očekivanja namjere vozača, donošenje odluka (prijeći cestu ili popustiti vozilu), te u konačnici gibanje pješaka. Kako bi predloženi model ponašanja pješaka u što većoj mjeri odražavao stvarnost, kalibriran je na stvarnim podacima interakcije vozila i pješaka.

Daljnji smjer razvoja podrazumijeva korištenje naprednih metoda strojnog učenja, posebice onih vezanih za stohastičko modeliranje većeg broja pješaka i vozila, koji se ponašaju inteligentno i autonomno. Konačni korak je uključiti takve autonomne agente u simulacijske okoline unutar postojećih dSPACE-ovih alata".