Autonomní zbraně a První zákon: Dokážeme udržet člověka v rozhodovacím procesu?

Asimovův První zákon je z trojice nejjednodušší: robot nesmí ublížit člověku. Ve fikci byl absolutní a neporušitelný – zakódovaný tak hluboko do pozitronového mozku robota, že jeho porušení vedlo k fyzickému vypnutí robota. V realitě budujeme zbraňové systémy, které by tento princip mohly ze své podstaty porušit, a pojistka, na kterou spoléháme, má jméno: člověk v rozhodovacím procesu (human-in-the-loop).

Co jsou autonomní zbraně skutečně

Autonomní zbraňové systémy (AWS) jsou zbraně schopné identifikovat, vybrat a zasáhnout cíl s omezeným nebo žádným lidským vstupem do konečného rozhodnutí použít smrtící sílu. Nejde o vzdálenou, hypotetickou technologii – armády po celém světě již vyvíjejí a v některých případech nasazují systémy se stále vyšší mírou autonomie, od loitering munitions (bloudících střel) až po AI asistované zaměřování u dronů.

Proč je argumentem rychlost – a proč je zároveň nebezpečím

Argument pro autonomii u zbraňových systémů se obvykle scvrkává na rychlost: lidská reakční doba, měřená ve zlomcích sekundy, může být příliš pomalá proti jinému autonomnímu systému nebo rychle se pohybující hrozbě. Právě zde ale platí varování Prvního zákona nejnaléhavěji. Systém dostatečně rychlý na to, aby rozhodoval rychleji než člověk, je zároveň systémem, který jednou, když udělá chybu, udělá ji rychleji a ve větším měřítku, než jaké by dokázala způsobit jakákoli lidská chyba.

Základní požadavek: smysluplná lidská kontrola

Naším stanoviskem – a základním požadavkem moderního výkladu Prvního zákona – není, že AI nemá v obraně místo. Je jím to, že konečné rozhodnutí vzít lidský život nesmí být nikdy zcela delegováno na algoritmus. Tomu se často říká „smysluplná lidská kontrola” (meaningful human control): požadavek, aby člověk s dostatkem času, informací a porozumění učinil skutečné rozhodnutí zasáhnout cíl – nikoli aby jen razítkoval rozhodnutí, které už fakticky učinil systém.

Proč je to těžší, než to zní

V praxi se smysluplná lidská kontrola tiše vytrácí. Jak jsou systémy rychlejší a autonomnější, lidský dohled se může stát formalitou – operátor klikne na „schválit” u rozhodnutí, které měl sekundy na posouzení, vygenerovaného systémem, kterému plně nerozumí (viz problém černé skříňky). Člověk „v procesu”, který nedokáže smysluplně vyhodnotit, co schvaluje, není pojistkou. Je to jen fíkový list.

O co usilujeme

Podporujeme závazná mezinárodní pravidla, která:

• Zakazují plně autonomní zbraňové systémy, které vybírají a zasahují lidské cíle bez smysluplné a včasné lidské kontroly.
• Vyžadují transparentnost ohledně míry autonomie u jakéhokoli nasazeného vojenského AI systému.
• Nařizují standardy vysvětlitelnosti pro zaměřovací systémy, aby lidští operátoři mohli skutečně vyhodnotit, co schvalují – nejen zmáčknout tlačítko.

První zákon byl Asimovovým nejjednodušším pravidlem. Udržet jej jednoduchým i v roce 2026 – aby o životě člověka vždy rozhodoval člověk – je možná tím nejnaléhavějším požadavkem bezpečnosti AI naší doby.