Vysokorizikové systémy AI vo vzdelávaní podľa Nariadenia EÚ o umelej inteligencii

Vysokorizikový systém AI musí mať zavedený systém riadenia rizík ako nepretržitý a opakovaný proces. Nejde teda o jednorazové posúdenie pred začiatkom používania, ale o priebežné sledovanie počas celého životného cyklu systému. Cieľom je identifikovať známe a primerane predvídateľné riziká, vyhodnocovať ich a prijímať opatrenia na ich zníženie alebo odstránenie.

Pri riadení rizík nejde len o technické zlyhanie systému. Posudzujú sa aj riziká pre zdravie, bezpečnosť a základné práva osôb. Vo vzdelávaní je to dôležité najmä preto, že systém AI môže ovplyvniť prijatie na štúdium, hodnotenie študenta, určenie jeho vzdelávacej úrovne alebo priebeh skúšky. Posudzovať sa preto nemá iba to, či systém funguje, ale aj to, či nespôsobuje nespravodlivé, nepresné alebo neprimerané zásahy do postavenia žiaka či študenta.

Ak sa pri vysokorizikovom systéme AI používajú tréningové, validačné alebo testovacie údaje, musia byť vzhľadom na zamýšľaný účel systému relevantné, dostatočne reprezentatívne a v čo najväčšej možnej miere bez chýb a úplné. Nejde teda len o množstvo údajov, ale aj o ich kvalitu, vhodnosť a spôsob správy pri konkrétnom použití systému.

Systém AI robí závery na základe údajov, na ktorých bol vytvorený alebo testovaný. Ak sú údaje skreslené, neúplné alebo nereprezentatívne, systém môže vytvárať nesprávne alebo nespravodlivé výstupy. Vo vzdelávaní to môže znamenať napríklad skreslené hodnotenie výkonu žiakov, nesprávne odporúčanie vzdelávacej úrovne alebo problematické rozhodovanie pri prijímaní. Dôležitá je preto aj správa údajov, teda pravidlá, procesy a kontrolné mechanizmy, podľa ktorých sa s údajmi pracuje.

Technická dokumentácia má preukazovať, ako bol vysokorizikový systém AI vyvinutý, ako funguje a či spĺňa zákonné požiadavky. Je dôležitá aj preto, aby bolo možné preveriť súlad systému pri kontrole alebo posudzovaní zhody.

Právne predpisy stanovujú, aké náležitosti má technická dokumentácia obsahovať. Jej zmyslom je umožniť porozumieť návrhu systému, jeho schopnostiam, obmedzeniam, spôsobu fungovania a podmienkam bezpečného a zákonného používania. Dokumentácia musí byť dostatočne konkrétna, aby umožnila posúdiť súlad systému s právnymi požiadavkami.

Vysokorizikové systémy AI musia technicky umožňovať automatické zaznamenávanie udalostí, teda vedenie logov, počas svojej životnosti. Táto povinnosť neslúži len na internú technickú kontrolu, ale aj na spätné preverenie toho, ako systém fungoval, aké výstupy vytvoril a či boli zistené problémy alebo odchýlky.

Záznamy majú veľký význam pri kontrole systému, vysvetľovaní jeho fungovania a preverovaní incidentov alebo sporov. Vo vzdelávaní môžu byť dôležité napríklad pri posudzovaní, prečo systém odporučil určitú úroveň vzdelania, ako vyhodnotil skúšku alebo na základe čoho označil správanie študenta počas skúšky za zakázané. Bez logov by bolo spätné preverenie často výrazne sťažené.

Transparentnosť neznamená, že systém musí zverejniť celý zdrojový kód. Znamená to, že musí byť navrhnutý a doplnený takými informáciami, aby ho subjekt nasadzujúci systém vedel používať informovane, správne vykladať jeho výstupy a rozumel jeho možnostiam aj obmedzeniam. Nariadenie EÚ o umelej inteligencii preto spája transparentnosť najmä s poskytovaním relevantných informácií a návodu na použitie.

Áno. Vysokorizikové systémy AI musia byť navrhnuté a vyvinuté tak, aby nad nimi počas používania mohli vykonávať účinný ľudský dohľad fyzické osoby. Človek nemá byť len pasívnym príjemcom výstupu systému, ale musí mať reálnu možnosť sledovať jeho fungovanie, rozpoznať problém a v prípade potreby zasiahnuť.

Cieľom ľudského dohľadu je predchádzať alebo minimalizovať riziká pre zdravie, bezpečnosť a základné práva. Prakticky to znamená, že človek má byť schopný výstup systému posúdiť, nespoliehať sa naň slepo a v prípade potreby rozhodnutie upraviť, zastaviť alebo nepoužiť. Vo vzdelávaní je to mimoriadne dôležité, pretože automatizované výstupy môžu mať priamy dopad na študijné príležitosti a výsledky jednotlivca.

Nie. Zmyslom dohľadu nie je iba formálne potvrdenie výstupu systému človekom. Dohľad musí byť účinný. Osoba vykonávajúca dohľad musí mať dostatok informácií, právomocí a reálnu možnosť zasiahnuť. Ak človek len automaticky preberá výsledok systému bez porozumenia a možnosti korekcie, požiadavka ľudského dohľadu sa nenapĺňa.

Vysokorizikové systémy AI musia dosahovať primeranú úroveň presnosti, robustnosti a kybernetickej bezpečnosti vzhľadom na svoj zamýšľaný účel. Nehodnotí sa teda abstraktne, či je systém „dobrý“, ale či je dostatočne spoľahlivý pre konkrétny účel, na ktorý sa používa.

Presnosť znamená, že systém má poskytovať výsledky, ktoré sú primerane spoľahlivé pre účel, na ktorý sa používa. Pri systémoch AI vo vzdelávaní to znamená, že ich výstupy nemajú byť náhodné, výrazne chybové alebo systematicky skreslené. Čím závažnejšie dôsledky má výstup systému pre jednotlivca, tým dôležitejšia je požiadavka na jeho presnosť.

Robustnosť znamená, že systém má fungovať stabilne a spoľahlivo aj pri bežných odchýlkach v prevádzke alebo pri rozumne predvídateľných situáciách. Inak povedané, nemal by sa správať nevyspytateľne alebo produkovať neprimerané výsledky len preto, že sa mierne zmenili vstupy, podmienky prostredia alebo spôsob použitia.

Kybernetická bezpečnosť znamená, že vysokorizikový systém AI musí byť navrhnutý a vyvinutý tak, aby dosahoval primeranú úroveň ochrany a bol odolný voči pokusom neoprávnených tretích strán zmeniť jeho používanie alebo výkonnosť využitím zraniteľností systému. Táto požiadavka sa vzťahuje na celý životný cyklus systému. Kybernetická bezpečnosť má chrániť systém AI pred zásahmi, ktoré by mohli meniť jeho správanie, výkonnosť alebo bezpečnostné vlastnosti, vrátane útokov na tréningové údaje, modely alebo základnú IKT infraštruktúru.