Danas postoje mnoge platforme za obuku robota no velika većina njih propušta ključno jer ne uzimaju u obzir zvukove koje bi roboti mogli otkriti i s njima komunicirati u stvarnom svijetu. Kako bi riješili ovaj nedostatak, istraživači Sveučilišta Stanford osmislili su Sonicverse, simulirano okruženje koje uključuje i vizualne i auditivne elemente.

Multisenzorna platforma

Iako ljudi percipiraju svijet i gledanjem i slušanjem, vrlo malo prethodnih radova bavilo se učenjem kroz integraciju i tjelesno iskustvo (embodied learning) sa zvukom, objašnjavaju istraživači. 

Postojeći utjelovljeni simulatori umjetne inteligencije ili pretpostavljaju da su okruženja tiha i agenti ne mogu otkriti zvuk ili koriste audio-vizualne agente samo u simulaciji. Na Stanfordu su otišli korak dalje i predstavili novu multisenzornu simulacijsku platformu s realističnom integriranom audio-vizualnom simulacijom za obuku agenata u kućanstvu koja može i vidjeti i čuti.

Realističniji virtualni prostor

Sonicverse rekreira i vizualne komponente bilo kojeg okruženja kao i njegove zvukove, nudeći robotima "realističnije" virtualne prostore čime se poboljšava njihova izvedba u stvarnom svijetu.

Ova multisenzorna simulacijska platforma modelira kontinuirano renderiranje zvuka u 3D okruženjima u stvarnom vremenu i može poslužiti kao test za mnoge utjelovljene UI i zadatke interakcije između čovjeka i robota koji zahtijevaju audio-vizualnu percepciju, poput audio-vizualne navigacije.

'Sim-to-real' prijenos

Simulacija je testirana na TurtleBot robotu tvrtke Willow Garage, a realističnost Sonicversea demonstrirana je putem sim-to-real prijenosa, što nije postignuto drugim audio-vizualnim simulatorima. Eksperiment, predstavljen na arXivu,  pokazao je da agent obučen u ovom simulatoru može uspješno izvoditi audio-vizualnu navigaciju u stvarnom okruženju poput kuhinje.

Ova platforma za simulaciju mogla bi trenirati robote da se učinkovitije bave zadacima iz stvarnog svijeta korištenjem vizualnih i slušnih podražaja, uvjereni su istraživači koji se u sljedećim eksperimentima žele modelirati multisenzorne signale na razini prostora i na razini objekta i pozabaviti se taktilnim osjetom.