„Systémy na detekci emocí mohou zachytit vaše reakce a poslat je na personální oddělení,“ varuje europoslanec Kolaja

Zákaz využívání systémů pro rozpoznávání obličejů ve veřejných prostorech nebo zákaz užívání systému detekce emocí s výjimkou výzkumných a zdravotnických účelů. To navrhl pirátský europoslanec Marcel Kolaja u právě vznikajícího aktu o umělé inteligenci. Ten Evropská komise vydala v dubnu 2021, jeho cílem je stanovit harmonizovaná pravidla a zajistit bezpečné využívání systémů umělé inteligence uváděných na evropský trh.

Jednou z moderních technologií, které se začínají používat ve školství nebo v personalistice, jsou systémy detekcí emocí. Jak takové systémy fungují? Mohou doopravdy poznat, jak se člověk zrovna cítí?

Systémy na rozpoznání emocí se snaží podle obličejové mimiky a fyziologických procesů detekovat, jak se zrovna cítíte. Každý to ale známe, ne vždy se tváříme zrovna podle našich reálných pocitů.

Co je za rozvojem těchto technologií?

Ve skutečnosti se za ním skrývá především rozvíjející se miliardový byznys, jehož cílem je používat umělou inteligenci a strojové učení k detekci emocí z výrazů obličeje. Jejich používání je ovšem značně kontroverzní a výsledky mají vysokou chybovost a nefungují správně.

iZdroj fotografie: Depositphotos

Jaká rizika představují? Mohou systémy rozpoznávání emocí nějak lidem uškodit?

Bohužel je jen málo vědeckých důkazů, že tyto systémy fungují správně. Naopak výzkum těchto algoritmů naznačuje, že i když by mohly být schopny dekódovat výrazy obličeje, nemusí to nutně znamenat, co člověk skutečně cítí nebo si myslí. Emoce se navíc v různých kulturách a společnostech vyjadřují odlišně. Není tudíž možné s jistotou usuzovat na štěstí z úsměvu nebo hněv ze zamračeného výrazu, jak se o to tato technologie snaží.

K čemu taková rozhodnutí pak vedou?

K chybám a neobjektivnímu rozhodování ve vysoce citlivých oblastech, jako je vzdělávání, policejní práce, nábor nových zaměstnanců či při hraničních kontrolách. Chyby mohou zásadně ovlivnit lidské životy, a proto by tyto systémy měly být až na výjimky, jako jsou vědecké nebo zdravotní účely, zakázány.

Je známé, jak společnosti, které tyto technologie mají, s těmito nástroji nakládají?

Ne. V mnoha případech neznáme úplný rozsah toho, kolik společností tyto nástroje používá, a jakým způsobem, protože jsou často používány nevědomky nebo bez souhlasu zaměstnanců.

iZdroj fotografie: Depositphotos

Zmiňoval jste užití v personalistice. Můžete popsat, jak takové skenování emocí může probíhat?

Představte si, že jste na pracovním pohovoru. Po zádech vám stéká pot a snažíte se udělat co nejlepší dojem. Mezitím, zatímco odpovídáte na otázky, systém umělé inteligence skenuje váš obličej. Ten hodnotí vaši nervozitu, empatii a spolehlivost na základě výrazu ve tváři nebo intenzity hlasu. Vy říkáte pravdu, jenom se v té situaci zkrátka cítíte pod tlakem.

A systém…

…ovšem vyhodnotí, že jste ve stresu z údajně lživé odpovědi. Opravdu chceme, aby už tak stresové pracovní pohovory probíhaly tímto způsobem?

Dalším odvětvím, kde mohou tyto systémy způsobit více škody než užitku, je školství. Kde se například již používají?

Vezměme si příklad dívčí střední školy z Hong Kongu. Většinu času po dobu pandemie se studenti vzdělávali na dálku z domova. Ale na rozdíl od většiny dětí po celém světě, které byly během pandemie nuceny k domácímu vzdělávání, byli tito studenti sledováni, jak sedí za svými psacími stoly. Prostřednictvím kamer jejich počítače systémy zkoumaly právě výrazy obličejů každého dítěte.

Takže software dokáže číst emoce dětí během výuky? Co bylo jeho cílem?

Pomoci učitelům učinit distanční výuku interaktivnější a personalizovanější tím, že bude reagovat na reakce jednotlivých studentů v reálném čase. Software funguje tak, že měří mikro pohyby svalů na tvářích dívek a pokouší se identifikovat emoce, jako je štěstí, smutek, hněv, překvapení a strach.

iZdroj fotografie: Depositphotos

Technologie tedy posílá nějaké zprávy…?

Ano. Podle společnosti software generuje podrobné zprávy o emočním stavu každého studenta pro učitele a může také měřit motivaci a zaměření. Upozorní studenty v momentě, kdy ztrácí potřebnou pozornost.

Kde podle Vás na druhou stranu mohou tyto technologie znamenat značný benefit?

Jednou z oblastí, kde tyto systémy mohou mít přínos, je zdravotnictví. Mohou představovat důležitou pomůcku především pro lidi s poruchou autistického spektra.

Jak konkrétně?

Systém na rozpoznávání emocí byl například integrován do brýlí, které dětem s autismem pomáhají číst mimiku ostatních lidí. Ač stojím za zákazem detekce emocí, výjimku by měly dostat ty, které slouží právě pro zdravotnické a výzkumné účely.

Připravuje se tedy nějaká legislativa…?

Je to tak. V Evropském parlamentu momentálně pracuji na legislativě, která by měla nastavit pravidla pro využívání umělé inteligence. Evropští občané musí být legislativně chráněni a nesmíme dovolit, aby byli sledováni a analyzováni.