Zavádění umělé inteligence probíhá v mnoha organizacích překotně a často formou decentralizovaných experimentů. Nástroje AI se firmami živelně rozlévají prostřednictvím takzvaného stínového IT/AI (shadow IT/AI). To znamená, že zaměstnanci zkouší nové technologie bez jasné strategie, vedení, pravidel a kontroly. Evropská unie proto přijala nařízení o umělé inteligenci, AI Act (AIA), které představuje první komplexní právní rámec pro vývoj, zavádění a provoz této zdánlivě všemocné technologie.
Přestože mediální zkratka jakoukoliv technologickou regulaci často vykresluje jako další omezení inovací a konkurenceschopnosti evropských podniků, cílem AIA není inovace podvázat, či dokonce zakázat, ale nastavit pro systémy a nástroje umělé inteligence bezpečná, transparentní a etická pravidla. AIA by tak byznys neměl vnímat jako byrokratického strašáka, ale jako nástroj k bezpečnému a rovnocennému odemknutí obrovského potenciálu, který AI nabízí.
O čem AI Act skutečně je a jak třídí rizika?
AI Act je ve své podstatě produktovou regulací, která je založena na takzvaném risk-based přístupu, tedy na proaktivním řízení rizik spojených s umělou inteligencí. Nařízení nedopadá na všechna řešení stejně, ale dělí systémy umělé inteligence do čtyř kategorií: systémy s nepřijatelným rizikem (ty jsou v EU zcela zakázány), vysoce rizikové systémy (podléhající přísné kontrole), systémy s omezeným rizikem a systémy s minimálním rizikem.
Například v sektoru zdravotnictví nebo personalistiky budou systémy AI typicky spadat do kategorie vysokého rizika. Pokud totiž AI ovlivňuje klinické rozhodování, diagnostiku a spadá pod regulaci zdravotnických prostředků anebo rozhoduje o pracovních propozicích velkého množství osob, jedná se vždy o vysoce rizikové systémy, které vyžadují nejvyšší míru kontroly a certifikace. Naopak běžný administrativní chatbot pro plánování schůzek může představovat jen minimální riziko. Základním krokem každé organizace tak musí být takzvaná „risk triage“: roztřídění užívaných nástrojů podle míry rizika.
Kdo je kdo: Pozor na skrytou past změny role
Pro správné nastavení compliance programu je naprosto klíčové určit, v jaké roli vaše organizace vůči systému AI vystupuje. Většina firem dnes AI nevyvíjí od nuly, ale nakupuje ji jako víceméně hotové produkty třetích stran, a nachází se tak v roli „zavádějícího subjektu“ (deployera). S touto rolí jsou spojené jen velmi omezené povinnosti. Máte odpovědnost za používání AI systému v souladu s návodem. Musíte zajistit kompetentní a proškolený lidský dohled, kvalitu vstupních dat, průběžně sledovat provoz systému a uchovávat záznamy o jeho fungování, transparentně informovat dotčené osoby a bez zbytečného odkladu hlásit jakékoli závažné incidenty.
Pozor však na jedno významné riziko. Pokud vaše organizace převezme cizí model a podstatně ho změní, například ho přetrénuje na vlastních interních či klientských datech, nebo ho začne využívat k jinému než původně zamýšlenému účelu, stává se z pohledu zákona „poskytovatelem“ (providerem). Na poskytovatele přitom AI Act klade nepoměrně těžší břemeno, včetně certifikací, registrací do databází poskytovatelů a vytváření rozsáhlé technické dokumentace. Role v AI se zkrátka mohou měnit podle toho, jak s technologií v praxi zacházíte.
Klíčové povinnosti: Od AI gramotnosti po „Human in the loop“
Úspěšná implementace AI neznamená jen technické spuštění softwaru, ale vytvoření strukturované AI governance. Jaké nejdůležitější povinnosti na zavádějící subjekty dopadají?
- Inventář AI aneb pravidlo „no registry, no production“: Než začnete AI řídit, musíte vědět, kde všude ji máte. Základním kamenem efektivního AI compliance programu je proto vytvoření a udržování AI registru, který eviduje každý případ užití, jeho vlastníka, riziko, kategorie zpracovávaných dat a dodavatele.
- Gramotnost v oblasti AI (tzv. AI literacy): Jde o povinnost, která platí plošně již od
2. února 2025, i když v nedávno přijatém Digitálním omnibusu pro AI (Digital Omnibus for AI – DOAI) byla podstatně zmírněna. Jelikož je ale vzdělávání uživatelů základním faktorem bezpečnosti a udržitelného provozu AI v organizaci, měla by zajistit, že její personál má dostatečné znalosti o fungování, rizicích a limitech AI. Školení by mělo být přizpůsobeno konkrétním rolím zaměstnanců. - Lidský dohled (Human in the loop): Vysoce rizikové systémy nesmí rozhodovat zcela autonomně. Nasazení AI musí zahrnovat kompetentní lidský dohled, který má pravomoc do rozhodnutí zasáhnout, ignorovat jej nebo systém zcela zastavit (tzv. stop-button).
- Transparentnost a vysvětlitelnost aneb konec éry „černých skříněk“: AIA zavádí právo dotčených osob na smysluplné vysvětlení toho, jakou roli hrál systém AI v rozhodnutí, které se jich významně dotýká. Kromě toho mají zavádějící subjekty povinnost uchovávat protokoly o provozu AI, typicky po dobu minimálně 6 měsíců, aby bylo možné incidenty zpětně auditovat. Organizace by se proto měly vyvarovat systémů AI, které fungují v režimu „černé skříňky“ (blackbox AI), resp. svá rozhodnutí neumějí žádným způsobem odůvodnit.
Skládačka digitální compliance
Při zavádění AI narazíte na jednu podstatnou věc: AI Act nefunguje izolovaně. V praxi se prolíná s dalšími právními a compliance požadavky, takže organizace musí současně splnit několik různých předpisů. Pokud k tomu nepřistoupí systematicky, snadno se z plnění povinností stane zbytečně složitá administrativa.
Nejvýraznější průnik je s ochranou osobních údajů podle GDPR. AI systémy pracují s velkým množstvím dat a ta často obsahují osobní, někdy i citlivé údaje. Organizace proto musí dodržet pravidla pro jejich zpracování – od transparentního informování přes jasně vymezený účel až po odpovídající zabezpečení. Pokud použití AI představuje vysoké riziko pro práva a svobody fyzických osob, bude navíc nutné zpracovat Posouzení vlivu na ochranu osobních údajů.
Druhou rovinou je kybernetická bezpečnost (NIS2 a DORA). AI systémy přinášejí zcela nová, systematická kybernetická rizika. Mezi ně patří například útoky zacílené na trénovací data, která útočník úmyslně zmanipuluje, aby znehodnotil přesnost modelu (tzv. data poisoning), nebo skryté instrukce, které model oklamou (evasion attacks). Organizace proto musí začlenit AI přímo do stávajícího systému řízení bezpečnosti informací a testovat systémy AI proti novým hrozbám.
Místo toho, aby firma pro stejný AI nástroj dělala tři oddělené audity, měla by využít takzvaný „cross-regulatory mapping“. V praxi to znamená vytvoření jednotného schvalovacího procesu či balíčku interní regulace, který před nasazením AI do provozu vyřeší naráz expozici organizace vůči všem zmíněným normám a zajistí prokazatelné posouzení dopadů na základní práva, vliv na osobní údaje i rizika předávání dat.
Kdy to vypukne a jak efektivně začít?
AI Act vstoupil v platnost již 1. srpna 2024 a klíčové zákazy nepřijatelných rizik (např. rozpoznávání emocí na pracovišti) a povinnosti zajistit gramotnost v oblasti AI se uplatňují již od 2. února 2025. Koncem tohoto roku mají být zavedeny postupy pro integraci strojově čitelných vodoznaků a opatření pro zajištění transparentnosti u syntetického obsahu generovaného umělou inteligencí (obrázky, videa apod.). Povinnosti pro samostatné vysoce rizikové systémy umělé inteligence (např. v oblasti zaměstnanosti, vzdělávání, biometrické identifikace, kritické infrastruktury) začnou naplno platit v prosinci 2027 a povinnosti týkající se vysoce rizikových systémů umělé inteligence zabudovaných do přísně regulovaných fyzických výrobků (např. zdravotnických prostředků, strojů, hraček) v srpnu 2028.
Čas na efektivní přípravu se tedy rychle krátí. Nečekejte, až vás k akci donutí hrozba sankce nebo ztráta důvěry vašich obchodních partnerů. Zavedení efektivního AI compliance programu není brzdou byznysu, ale naopak spolehlivým „ochranným štítem“, který vaší firmě umožní inovovat rychle, transparentně a bez hrozby fatálních bezpečnostních a právních selhání.
Začněte tím nejmenším a nejefektivnějším krokem: zmapujte si, jakou AI dnes ve skutečnosti používáte, klasifikujte jednotlivé systémy podle rizika a proškolte zaměstnance. Právě lidé nakonec rozhodují o tom, zda bude AI pro organizaci přínosem, nebo zdrojem zbytečných rizik.