Problém černé skříňky: Proč musí AI umět vysvětlit sama sebe

Zeptejte se inženýra v přední AI laboratoři, proč jejich model dal konkrétní odpověď, a často se vám dostane nepříjemně upřímné odpovědi: „Nejsme si úplně jistí.” Nejde o neschopnost. Je to strukturální rys toho, jak moderní AI funguje – a jedna z největších překážek mezi dnešními AI systémy a Asimovovým Druhým zákonem.

Co „černá skříňka” skutečně znamená

Moderní AI modely, zejména velké neuronové sítě, se neřídí jednoduchou, sledovatelnou sadou pravidel typu „když-tak”, kterou by člověk mohl přečíst řádek po řádku. Svá rozhodnutí dělají prostřednictvím miliard propojených matematických vah, upravovaných během trénování na obrovských datových souborech. Výsledkem je systém, který může být mimořádně schopný – a zároveň z velké části neprůhledný, dokonce i pro lidi, kteří jej vytvořili. Vidíme vstup a vidíme výstup. Úvahu mezi nimi ve většině případů nedokáže nikdo plně přečíst.

Proč to porušuje ducha Druhého zákona

Asimovův Druhý zákon vyžaduje, aby robot poslouchal lidské příkazy – což implicitně předpokládá, že lidé dokážou chování robota pochopit, řídit a opravit. Nelze smysluplně přikazovat, kontrolovat ani opravovat systém, jehož vnitřní úvahu nevidíte. Černá skříňka AI, která rozhoduje o schvalování úvěrů, lékařských diagnózách nebo trestech v soudním řízení, ve skutečném smyslu neposlouchá příkazy lidí – dělá vlastní úsudky v jazyce, kterým nikdo jiný nemluví.

Vysvětlitelná AI (XAI): navrhované řešení

Vysvětlitelná AI, neboli XAI, je rostoucí obor technik určených k tomu, aby bylo rozhodování AI srozumitelné lidem – ukazují, které vstupy nejvíce ovlivnily daný výstup, generují lidsky čitelná zdůvodnění nebo omezují modely tak, aby od počátku používaly srozumitelnější způsob uvažování. XAI neudělá z každého rozhodnutí AI jednoduchý vzorec v tabulce. Posouvá ale systémy od „věřte nám” směrem k „tady je důvod”.

Kde jsou sázky nejvyšší

Vysvětlitelnost je nejdůležitější přesně tam, kde je problém černé skříňky nejnebezpečnější:

• Zdravotnictví — Diagnostická AI, která neumí vysvětlit svou úvahu, lékařům ztěžuje odhalení jejích chyb.
• Trestní právo — Nástroje pro hodnocení rizika používané při rozhodování o trestech nebo podmínečném propuštění mohou skrývat neviditelnou zaujatost, kterou bez vysvětlitelnosti nikdo nezkontroluje.
• Finanční systémy — Rozhodnutí o úvěrech a půjčkách učiněná neprůhlednými modely mohou tiše diskriminovat ve velkém měřítku, aniž by po sobě zanechala jasnou stopu.
• Kritická infrastruktura — Systémy řídící energetické sítě nebo krizovou reakci potřebují lidské operátory, kteří dokážou pochopit – nejen slepě věřit – co AI dělá.

O co usilujeme

Věříme, že žádný AI systém by neměl být nasazen v rozhodnutích s vysokými sázkami – zdravotnictví, soudní řízení, kritická infrastruktura nebo veřejná správa – bez splnění základního standardu vysvětlitelnosti a bez zachování konečné lidské autority přezkoumat a zvrátit jeho rozhodnutí. Jde o přímý, praktický přenos Asimovova Druhého zákona do inženýrské praxe roku 2026.