Nariadenie EÚ o umelej inteligencii určuje, ktoré použitia AI sú neprijateľné a v školách sa nesmú používať. Ide najmä o systémy, ktoré zasahujú do práv žiakov, odvodzujú ich emócie, zneužívajú zraniteľnosť alebo ich hodnotia spôsobom, ktorý môže viesť k nespravodlivému zaobchádzaniu.
Nie každý AI nástroj je pre školské prostredie vhodný. Pri práci so žiakmi je potrebné zvlášť chrániť ich súkromie, dôstojnosť, rovnosť a právo na férové vzdelávanie. Preto Nariadenie EÚ o umelej inteligencii zakazuje určité systémy AI bez ohľadu na to, či by mohli pôsobiť technicky zaujímavo alebo prakticky užitočne.
Pre školy je dôležité vedieť rozpoznať, ktoré použitia AI už prekračujú bezpečnú hranicu. Nasledujúce kategórie pomáhajú vedeniu školy, učiteľom aj zriaďovateľom posúdiť, aké AI systémy do vzdelávacieho prostredia nepatria.
Systémy AI na odvodzovanie emócií
Zakázané sú systémy AI, ktoré odvodzujú emócie osôb vo vzdelávacích inštitúciách. Ak by systém detegoval náladu, stres, frustráciu, motiváciu, únavu alebo podobné emočné stavy žiakov či študentov, takéto použitie je v zásade zakázané.
Výnimka sa týka len situácií, keď je systém určený na uvedenie na trh alebo do prevádzky zo zdravotných alebo bezpečnostných dôvodov.
Manipulatívne alebo klamlivé systémy AI
Zakázané sú manipulatívne alebo klamlivé systémy AI, ak používajú podprahové techniky alebo iné manipulatívne či klamlivé postupy, ktoré podstatne narušia správanie osoby a spôsobia alebo pravdepodobne spôsobia značnú ujmu.
V školskom prostredí by sem mohol patriť napríklad systém, ktorý by skrytým spôsobom tlačil žiakov do určitých rozhodnutí alebo správania bez toho, aby si to uvedomovali.
Systémy zneužívajúce zraniteľnosť osôb
Zakázané sú systémy AI využívajúce zraniteľnosť osôb alebo skupín osôb, najmä z dôvodu veku, zdravotného postihnutia alebo sociálnej či ekonomickej situácie, ak tým podstatne narúšajú správanie a spôsobujú alebo pravdepodobne spôsobia značnú ujmu.
Vo vzdelávaní je to veľmi citlivé práve preto, že deti, mladiství a niektoré skupiny študentov môžu byť zraniteľnejšie.
Systémy sociálneho skórovania
Zakázané sú systémy AI pre sociálne skórovanie osôb, ktoré ľudí hodnotia alebo klasifikujú podľa ich správania alebo odvodených charakteristík a následne to vedie ku škodlivému alebo neprimeranému zaobchádzaniu.
V školskom prostredí by takéto používanie AI mohlo viesť k nespravodlivému označovaniu, triedeniu alebo posudzovaniu žiakov.
Biometrické systémy na odvodzovanie citlivých údajov
Zakázané sú aj niektoré biometrické systémy AI, najmä biometrická kategorizácia smerujúca k odvodzovaniu citlivých údajov, ako je rasa, politické názory, náboženstvo, členstvo v odboroch, sexuálny život alebo sexuálna orientácia.
Takéto použitie AI je v rozpore s ochranou dôstojnosti, súkromia a základných práv žiakov.
