Ekho, sustav za bolju sinkronizaciju igrača u oblaku

Rješenje inženjera MIT-a i Microsoft Researcha kašnjenje streamova svodi na manje od 10 milisekundi u gotovo 87 posto vremena

Mladen Smrekar četvrtak, 31. kolovoza 2023. u 14:15
Jedinstvena tehnika ​​sinkronizacije audio i video streamova u igricama u oblaku mogla bi se primijeniti i na proširenu i virtualnu stvarnost 📷 Jose-Luis Olivares / MIT
Jedinstvena tehnika ​​sinkronizacije audio i video streamova u igricama u oblaku mogla bi se primijeniti i na proširenu i virtualnu stvarnost Jose-Luis Olivares / MIT

Igranje igara u oblaku nije samo gušt za više od 23 milijuna igrača širom svijeta nego i stalno rastuća industrija vrijedna šest milijardi dolara. No, umrežavanje igrača i sinkronizacija njihovih uređaja bili su i ostali najveći problem. Naime, video, audio i dodirne povratne informacije prenose se iz središnjeg izvora na više uređaja koji obično rade na zasebnim mrežama. Ove mreže nisu sinkronizirane, što dovodi do kašnjenja; igrač može vidjeti da se nešto događa na ekranu, ali to čuje tek primjetno kasnije.

Sinkroniziranje dva streama

Inspirirani ovim problemom, znanstvenici MIT-a i Microsoft Researcha odlučili su se pozabaviti pristupom sinkronizaciji streamova koji se prenose na dva uređaja. Njihov sustav Ekho dodaje nečujne sekvence bijelog šuma zvuku igre koji se prenosi s poslužitelja u oblaku. Potom te sekvence osluškuje u zvuku koji je snimio kontroler. Ekho koristi neusklađenost između ovih sekvenci šuma za kontinuirano mjerenje i kompenzaciju kašnjenja.

Ekho sinkronizirati medijske tokove koji se prenose preko različitih mreža na više uređaja s manje od 10 milisekundi kašnjenja između tokova 📷 MIT
Ekho sinkronizirati medijske tokove koji se prenose preko različitih mreža na više uređaja s manje od 10 milisekundi kašnjenja između tokova MIT

Sinkroniziranje dva streama osluškivanjem zvuka pokazalo se jako dobrim rješenjem, a rad u kojima se prezentiranju mogućnosti Ekha bit će prezentirane na konferenciji ACM SIGCOMM koja se u rujnu održava u New Yorku

Estimator i Compensator

U igranju u oblaku, mikrofon na kontroleru igrača snima zvuk u sobi, uključujući zvuk igre koji reproduciraju zvučnici na ekranu, i šalje ga natrag serveru. Ali korištenje ovog zvuka za sinkronizaciju je nepouzdano jer zvuk prostorije sadrži pozadinski šum. Ekho zvuku igre dodaje identične sekvence pseudošuma i te segmente koristi za sinkronizaciju.

Latencije i pogreška u sinkronizaciji tijekom igranja igara u oblaku 📷 MIT
Latencije i pogreška u sinkronizaciji tijekom igranja igara u oblaku MIT

Modul Ekho-Estimator sekvence pseudošuma dodaje zvuku igre. Kad primi snimljeni zvuk igre od kontrolera, osluškuje markere i pokušava poravnati streamove. To mu omogućuje precizno izračunavanje kašnjenja. Ekho-Estimator te informacije šalje modulu Ekho-Compensator koji ili preskače nekoliko milisekundi zvuka ili dodaje nekoliko milisekundi tišine zvuku igre koji šalje server. 

Ograničeno kašnjenje

Ekho se pokazao boljim od drugih metoda sinkronizacije, čak i kada je kvaliteta mikrofona bila loša ili je snimka pokupila pozadinski šum. Ekho je ograničio kašnjenje na manje od 10 milisekundi u gotovo 87 posto vremena; niti jedna druga testirana metoda nije to kašnjenje uspjela smanjiti na manje od 50 milisekundi.

Sinkroniziranje dva streama osluškivanjem zvuka pokazalo se jako dobrim rješenjem 📷 MIT
Sinkroniziranje dva streama osluškivanjem zvuka pokazalo se jako dobrim rješenjem MIT

Impresionirani ovim rezultatima, istraživači žele vidjeti koliko dobro Ekho radi u složenijim situacijama. Također, budući da je Ekho bio namijenjen igranju u oblaku, ima ograničen domet. Budući rad mogao bi poboljšati Ekho tako da može sinkronizirati uređaje na oba kraja vrlo velike prostorije, poput koncertne dvorane.