PSiFI: prva nosiva tehnologija prepoznavanja ljudskih emocija u stvarnom vremenu

U središtu ovog multimodalnog sustava prepoznavanja ljudskih emocija nalazi se PSiFI, samonapajano, lagano, rastezljivo i transparentno sučelje lica integriranog u kožu

Mladen Smrekar petak, 12. travnja 2024. u 10:05
Koristeći algoritme strojnog učenja, sustav točno prepoznaje ljudske emocija u stvarnom vremenu, čak i kad pojedinci nose maske 📷 UNIST
Koristeći algoritme strojnog učenja, sustav točno prepoznaje ljudske emocija u stvarnom vremenu, čak i kad pojedinci nose maske UNIST

Koristeći personalizirano, samostalno sučelje za sveobuhvatnu emocionalnu analizu, korejski su znanstvenici predstavili inovativnu tehnologiju prepoznavanja emocija u stvarnom vremenu. Ovo rješenje trebalo bi potaknuti razvoj nosivih sustava koji će pružati usluge temeljene na emocijama, uvjereni su istraživači Odsjeka za znanost o materijalima i inženjerstvo na Nacionalnom institutu znanosti tehnologije Ulsan (UNIST).

Shematska ilustracija personaliziranih sučelja lica integriranih u kožu (PSiFI) uključujući triboelektrične senzore (TES), krug za obradu podataka za bežičnu komunikaciju i klasifikator za izraz lica i prepoznavanje glasa 📷 UNIST
Shematska ilustracija personaliziranih sučelja lica integriranih u kožu (PSiFI) uključujući triboelektrične senzore (TES), krug za obradu podataka za bežičnu komunikaciju i klasifikator za izraz lica i prepoznavanje glasa UNIST

Može i pod maskama

Multimodalni sustav prepoznavanja ljudskih emocija kombinira podatke o verbalnom i neverbalnom izražavanju, a njegovom se središtu nalazi PSiFI (personalized skin-integrated facial interface), samonapajano, lagano, rastezljivo i transparentno sučelje lica integriranog u kožu.

Dvodimenzionalni prikaz PSiFI u obliku nosive maske i dvije različite vrste senzornog podražaja kao što su naprezanje lica i glasovna vibracija 📷 UNIST
Dvodimenzionalni prikaz PSiFI u obliku nosive maske i dvije različite vrste senzornog podražaja kao što su naprezanje lica i glasovna vibracija UNIST

Prvi dvosmjerni triboelektrični senzor naprezanja i vibracije omogućava simultanu detekciju i integraciju podataka verbalnog i neverbalnog izražavanja. Koristeći algoritme strojnog učenja, sustav točno prepoznaje ljudske emocija u stvarnom vremenu, čak i kad pojedinci nose maske. 

Bez vanjskog napajanja

Personalizirana maska ​​izrađena je tehnikom snimanja iz više kutova, kombinirajući fleksibilnost, elastičnost i prozirnost, a u nju je integrirana i sposobnost detekcije deformacija mišića lica i vibracija glasnica.

Prikaz načina na koji korisnik komunicira s digitalnim vratarom obučenim da pruža razne korisne usluge 📷 UNIST
Prikaz načina na koji korisnik komunicira s digitalnim vratarom obučenim da pruža razne korisne usluge UNIST

Tehnologija se temelji na fenomenu punjenja trenjem (friction charging) kojim se objekti razdvajaju na pozitivne i negativne naboje, a sustav pritom ne zahtijeva vanjski izvor energije ili složene mjerne uređaje za prepoznavanje podataka.

Virtualni vratar

Istraživači su sustav iskušali i VR okruženjima, koristeći ga kao virtualnog recepcionara (digital concierge) u pametnom domu, kućnom kinu i pametnom uredu, a njegova sposobnost da prepoznaje nečije emocija omogućuje mu da daje preporuke za glazbu, filmove i knjige u skladu s trenutnim emotivnim stanjem osobe s kojom kontaktira.

Tri različita scenarija zadataka za virtualnog vratara 📷 UNIST
Tri različita scenarija zadataka za virtualnog vratara UNIST

Ova tehnologija, opisana u časopisu Nature Communications, budi nadu u revolucionarni iskorak kad su u pitanju nosivi uređaji koji će personalizirane usluge temeljiti na emocijama i poboljšanoj interakciji između čovjeka i stroja, uvjereni su korejski znanstvenici iz UNIST-a.