HotGestures: aplikacija za otvaranje i kontrolu alata u virtualnoj stvarnosti

Istraživači Sveučilišta u Cambridgeu razvili su aplikaciju virtualne stvarnosti u kojoj se niz alata za 3D modeliranje može otvoriti i kontrolirati samo pokretom ruke

Mladen Smrekar nedjelja, 12. studenog 2023. u 08:00
U stvarnom svijetu svi komuniciramo rukama pa je bilo logično ovaj oblik komunikacije proširiti i na virtualni svijet 📷 freepik
U stvarnom svijetu svi komuniciramo rukama pa je bilo logično ovaj oblik komunikacije proširiti i na virtualni svijet freepik

Ideja o mogućnosti otvaranja i upravljanja alatima u virtualnoj stvarnosti bila je filmska tema čak i prije pojave "Specijalnog izvještaja", no ako je vjerovati istraživačima Sveučilišta u Cambridgeu, ovo je prvi put da je takva sposobnost doista omogućena i u stvarnosti. Riječ je o aplikaciji HotGestures koja korisnicima omogućava izradu figura i oblika u virtualnoj stvarnosti bez potrebe za interakcijom s izbornikom, čije su mogućnosti predstavljene u časopisu IEEE Transactions on Visualization and Computer Graphics.

Bez pamćenja prečaca

"Virtualna stvarnost godinama je top tema, ali njena je primjena još uvijek skromna izvan svijeta računalnih igara. Korisnici imaju korist od VR-a, ali vrlo malo ljudi želi ga koristiti dulje vrijeme. Osim vizualnog zamora i ergonomskih problema, VR zapravo ne nudi ništa što ne možete dobiti u stvarnom svijetu", smatra profesor Per Ola Kristensson s Odjela inženjerstva na Sveučilištu u Cambridgeu i direktor tamošnjeg Centra za umjetnu inteligenciju inspiriranu ljudima.

Većina korisnika softvera za stolna računala bit će upoznata s konceptom tipkovničkih prečaca kao što su "ctrl-c" i "ctrl-v". Hot keys ukidaju potrebu za otvaranjem izbornika kako bi se pronašli pravi alati ili naredbe, ali se oslanjaju na to da korisnik zna i pamti što treba učiniti. A sada su na Cambridgeu ovaj koncept odlučili prilagoditi radu u virtualnoj stvarnosti, bez potrebe za pamćenjem prečaca.

Geste rukama

Umjesto tipkovničkih prečaca razvili su HotGestures pomoću kojeg korisnici izvode gestu rukom kako bi otvorili i kontrolirali alat potreban u 3D okruženjima virtualne stvarnosti. Na primjer, pokret rezanja otvara alat za škare, a pokret prskanja otvara alat spreja.

Pokret rezanja otvara alat za škare, a gesta koja oponaša prskanje otvara alat spreja 📷 University of Cambridge
Pokret rezanja otvara alat za škare, a gesta koja oponaša prskanje otvara alat spreja University of Cambridge

Nema potrebe da korisnik otvara izbornik kako bi pronašao alat koji mu treba ili zapamtio određeni prečac. Korisnici se mogu neprimjetno prebacivati ​​između različitih alata izvođenjem različitih gesti tijekom zadatka, bez potrebe za pregledavanjem izbornika ili pritiskanja gumba na kontroleru ili tipkovnici.

Javno dostupan kod

"Svi komuniciramo rukama u stvarnom svijetu pa je bilo logično proširiti ovaj oblik komunikacije na virtualni svijet", objašnjavaju istraživači koji su za potrebe studije izradili neuronsku mrežu koja predviđa geste prateći pokrete zgloba ruke. Sustav prepoznavanje deset različitih pokreta povezanih s izradom 3D modela: olovku, kocku, cilindar, kuglu, paletu, sprej, rezanje, skaliranje, dupliciranje i brisanje.

Glavni autor istraživanja profesor Per Ola Kristensson 📷 University of Cambridge
Glavni autor istraživanja profesor Per Ola Kristensson University of Cambridge

Sustav temeljen na gestama ispravno prepoznaje što je naredba, a što normalan pokret ruke i brži je od sustava temeljenog na izborniku. Izvorni kod i skup podataka javno su dostupni kako bi ih dizajneri VR aplikacija mogli ugraditi u svoje proizvode.

Korisnici izvode gestu rukom kako bi otvorili i kontrolirali alat potreban u 3D okruženjima virtualne stvarnosti 📷 University of Cambridge
Korisnici izvode gestu rukom kako bi otvorili i kontrolirali alat potreban u 3D okruženjima virtualne stvarnosti University of Cambridge

"Želimo da ovo bude standardni način interakcije s VR-om", kaže Kristensson. "Trebamo nove načine interakcije s tehnologijom i mislimo da je ovo korak u tom smjeru. Kad se napravi kako treba, virtualna stvarnost doista može biti poput čarolije."