Vývoj autonomních systémů zaměřených na zabíjení lidí by mohl vést k nekontrolovatelnému zneužití zločineckými či teroristickými organizacemi nebo k válečným konfliktům katastrofálních rozměrů. Je proto potřeba co nejdříve přijmout opatření k jejich omezování podobně, jako je tomu například u chemických či jaderných zbraní. Pokud ukrajinské síly zaznamenávají na válečném poli úspěchy, většina západního mediálního publika jásá, zatímco když ruské síly posílají své rakety či roje levných íránských bezpilotních letounů na mise ničící elektrárny, rozvodny a jiná zařízení, stroje i budovy včetně těch civilních, je tomu zpravidla naopak. Důvod je jasný, přestože v obou situacích umírají lidé, většina obyvatel demokratických zemí má jasno v tom, kdo je napadený a kdo agresor, který nemá na půdě suverénního státu co pohledávat. Ale válku, jaká probíhá na území Ukrajiny, nerozhodují jen statečnost, morálka, strategie a počty vojáků a strojů. Zbraně jsou čím dál chytřejší a převahu na bitevním poli čím dál více ovlivňuje právě tento faktor. Na tento fakt upozornil například na stránkách odborného časopisu Nature profesor informatiky Kalifornské univerzity Stuart Russell.
Čas na úvahy o budoucnosti
Vývoj ukrajinského konfliktu nejen podle něj skutečně dokládá, jak velkou roli budou hrát nové kategorie zbraní v ozbrojených konf liktech. Viditelnou inovací je právě čím dál masovější nasazování malých létajících prostředků, ať už jde o typy nesoucí spouštěnou či odpalovanou munici, či „kamikadze“ drony s hlavicí přímo zabudovanou do stroje. Trochu stranou pozornosti zůstávají ovšem inovace v ovládání těchto a podobných zbraní. Drony dnes vyžadují svého pilota. Ale spojení mezi ním a strojem je jedním ze slabých míst celého systému, navíc na bojišti se často hraje o sekundy, rychlé rozhodování je tedy výhodou. Není proto nijak překvapivé, že s tím, jak rostou výkony umělé inteligence (AI — artificial intelligence), odborníci jako Russell a další očekávají, že nejen létající zbraně se budou stávat čím dál „samostatnějšími“. Pokud se svět k této otázce nepostaví pragmaticky, technologický vývoj povede k tomu, že se plně autonomní smrticí zbraňové systémy zaměřené na zabíjení stanou běžnou součástí armádních arzenálů. První takové zbraně už existují. Účastníci ukrajinského konf liktu a armády dalších velkých států se zatím jejich použití vyhýbají, ale to nemusí trvat dlouho. V nejhorším případě to může vést až do stavu, kdy se autonomní zbraňové systémy stanou široce dostupnými zbraněmi hromadného ničení. Zbraněmi, které lze navíc snadno a levně prodat každému diktátorovi, válečníkovi nebo teroristovi. Právě proto Russell a další volají po okamžitém jednání a omezení dalšího rozvoje takových systémů. Řada jeho kolegů a odborníků toto varování považuje za předčasné, nicméně nelze popřít, že rozvoj umělé inteligence v posledních letech probíhá rychleji, než velká část odborné komunity čekala. I vývoj ryze civilních systémů může mít pro společnost vážné následky, v případě zbraní jsou pak rizika samozřejmě ještě větší. Russell a spol. pro začátek navrhují seriózní jednání o smlouvě, která by zakázala přinejmenším protipěchotní autonomní zbraně. Profesní společnosti v oblasti umělé inteligence a robotiky by měly vypracovat a prosazovat kodexy chování, které by zakazovaly práci na smrticích autonomních zbraních. Vyburcována by měla být podle zastánců jednání i veřejnost, která se do budoucna může stát cílem použití těchto systémů i v nevojenském kontextu.
Tlaky na autonomii
Podle OSN lze za „autonomní zbraňové systémy považovat zbraně, které vyhledávají, vybírají a zasahují lidské cíle bez lidského dohledu“. „Zasáhnout“ v této definici je eufemismem pro „zabít“. Není přitom řeč o zbraních, které jsou ovládány na dálku člověkem, jako je americký dron Predator nebo ukrajinské podomácku vyrobené drony s granáty, protože ty nejsou autonomní. A nejde ani o „zlotřilé“ stroje, které by snažily ovládnout svět. Jde „jen“ o zbraně, které by drasticky mohly snížit naši fyzickou bezpečnost i třeba v jinak tak bezpečné zemi, jakou je Česká republika. Současné systémy umělé inteligence už ovládají všechny potřebné schopnosti, aby si takto autonomně počínaly. Zvládají plánování misí, navigaci, 3D mapování, rozpoznávání cílů, průlety městy a budovami i koordinaci útoků. Mohou nabývat různých podob, protože k dispozici je celá řada platforem. Patří mezi ně: kvadrokoptéry ve velikostech od centimetrů po metry, letadla s pevnými křídly (od hobby letadel pro rozvoz balíků a plnohodnotných dronů nesoucích rakety až po nadzvukové stíhačky „připravené pro autonomii“ jako BAE Systems Taranis), samořídící nákladní automobily a tanky, autonomní rychlé čluny, torpédoborce a ponorky, a dokonce i humanoidní roboti. Cesta k plné autonomii v rusko- -ukrajinském konfliktu začíná různými typy poloautonomních zbraní, které se již používají. Rusko například nasazuje „inteligentní“ řízené střely, které zasahují předem definované cíle, jako jsou administrativní budovy a energetická zařízení. Mezi tyto zbraně patří íránské bezpilotní prostředky Šáhíd, kterým Ukrajinci kvůli jejich zvuku přezdívají „mopedy“ či „sekačky“. Podle některých informací jsou nové drony tohoto typu vybaveny infračervenými detektory, které jim umožňují zaměřit se na blízké zdroje tepla, aniž vyžadují potvrzení zaměření cíle od operátora. To je důležitý krok k plné autonomii. Na obou stranách se používají komerční, dálkově ovládané kvadrokoptéry, nejčastěji pro průzkum, někdy i pro útoky spouštěnou municí. Na moři už obě strany použily na dálku pilotované čluny. Jak bylo již řečeno, slabým místem těchto zbraní je spojení s operátorem: bez něj jsou bezcenné. Všechny strany konfliktu tedy mají velkou motivaci zavádět účinnější rušící postupy. Jakmile se tak stane, ovládání těchto zbraní na dálku bude obtížnější a autonomní zbraně budou o to atraktivnější. Nevyhnutelná logika zavádění čím dál lepších elektronických protiopatření proti dálkově ovládaným zbraním nezbytně povede obě strany ke zvyšování úrovně autonomie těchto systémů.
První krůčky
Náznaky už existují. Od roku 2017 prodává turecký státní výrobce (STM) dron Kargu, který je velký jako jídelní talíř a nese 1 kg výbušniny. Podle webových stránek společnosti z roku 2019 (od té doby upravených) je dron schopen „autonomních a přesných“ zásahů proti vozidlům a osobám, přičemž „cíle jsou vybírány na základě analýzy obrazu“ a s možností „sledování pohyblivých cílů“. Jak uvedla OSN, drony Kargu byly v roce 2020 navzdory přísnému zbrojnímu embargu použity libyjskou vládou „národního porozumění“ k autonomnímu „lovu“ ustupujících nepřátelských vojáků. Jistou formu autonomie vykazují i další „létající“ formy střel. Izraelský bezpilotní letoun Harpy může několik hodin létat nad oblastí a hledat cíle, které odpovídají vizuální nebo radarové signatuře uložené v jeho operační paměti, a pak je napadnout. Podobné schopnosti má mít údajně i ruský prostředek Lancet, hojně používaný na Ukrajině. Čínský Ziyan Blowfish A3 je autonomní vrtulník vybavený kulometem a několika neřízenými gravitačními bombami. Společné mají všechny tyto systémy to, že mají nejen režim ovládání na dálku, ale také režim autonomní. V praxi je tedy prakticky nemožné zjistit, zda daný útok provedl lidský operátor, nebo o něm rozhodl software stroje. Proč armády usilují o stroje, které se mohou samy rozhodnout, zda zabijí člověka? Stejně jako dálkově ovládané zbraně mohou autonomní letadla, tanky a ponorky plnit úkoly, které by pro lidi byly sebevražedné. Jsou levnější, rychlejší, manévrovatelnější a mají delší dolet než jejich protějšky s posádkou. Vydrží vyšší přetížení za letu a fungují pod vodou bez systémů podpory života. Na rozdíl od dálkově ovládaných zbraní však mohou autonomní zbraně fungovat i v případě, že elektronická komunikace není možná kvůli rušení, a mohou reagovat rychleji než jakákoli zbraň dálkově ovládaná člověkem. Výhod je tolik, že odborník na umělou inteligenci Kai-Fu Lee označil autonomní zbraně za „třetí revoluci ve válčení“ po střelném prachu a jaderných zbraních.
Politické neshody
Politika bohužel nedrží krok s technologickým pokrokem. Vážná mezinárodní jednání se o této otázce zatím nevedou. Jedním z důvodů jsou skutečné či předstírané nejasnosti ohledně technických otázek. Země se donekonečna přou o význam slova „autonomní“. Německo například poněkud absurdně prohlásilo, že zbraň je autonomní pouze tehdy, pokud má „schopnost učit se a rozvíjet sebeuvědomění“. Čína pak sice údajně zákaz autonomních zbraní podporuje, ale zároveň tvrdí, že jakmile budou zbraně schopné autonomně rozlišovat mezi civilisty a vojáky, přestanou naplňovat podmínku, pro kterou by měly být zakázány. A Spojené království se na jedné straně zavázalo, že nikdy nebude vyvíjet ani používat smrticí autonomní zbraně, neustále však mění jejich definici, takže jeho závazek fakticky ztrácí smysl. Například v roce 2011 britské ministerstvo obrany uvedlo, že „určitý stupeň autonomního fungování je pravděpodobně dosažitelný již nyní“. V roce 2017 prohlásilo, že „autonomní systém je schopen pochopit složitější záměr“. Michael Fallon, tehdejší státní tajemník pro obranu, v roce 2016 napsal, že „plně autonomní systémy zatím neexistují a pravděpodobně nebudou existovat ještě mnoho let, pokud vůbec“, a dospěl k závěru, že „je příliš brzy na to, abychom zakazovali něco, co prostě nedokážeme definovat“. Další pokrok v Ženevě je v brzké době nepravděpodobný. Spojené státy a Rusko odmítají jednání o právně závazné dohodě připustit. Spojené státy se obávají, že smlouva by byla neověřitelná, což by vedlo ostatní strany k obcházení zákazu a vytvořilo by riziko strategického překvapení. Rusko nyní namítá, že je kvůli své invazi na Ukrajinu diskriminováno. V principu je samozřejmě možné dohodu uzavřít alespoň v podobě připomínající Petrohradskou deklaraci z roku 1868. Ta zakazovala explozivní munici lehčí než 400 g. Smlouva o autonomních zbraních by obdobně mohla stanovit limity pro velikost a nosnost těchto systémů. To by znemožnilo například nasazení rozsáhlých rojů malých zařízení fungujících jako zbraně hromadného ničení. Mohou se také zavést omezení na straně odborné komunity. Profesní společnosti v oblasti umělé inteligence a robotiky by mohly vypracovat a prosazovat kodexy chování zakazující práci na smrticích autonomních zbraních. Pro takový postup existují dokonce precedenty: například Americká chemická společnost má přísnou politiku týkající se chemických zbraní a Americká fyzikální společnost žádá Spojené státy, aby ratifikovaly Smlouvu o úplném zákazu jaderných zkoušek. Vymezuje se proti použití jaderných zbraní proti nejaderným státům a zasazuje se o robustní výzkumné programy v oblasti ověřovací vědy a techniky ve prospěch míru a bezpečnosti. IT odborníci by měli podobně přistupovat i k riziku vývoje „robotů- -zabijáků“, domnívá se Russell a jeho kolegové. /jj/
