Academix Revue Největší existenční riziko naší doby
6.
Globální
katastrofická rizika

Největší existenční riziko naší doby

Michal Trčka je šéfredaktor revue Academix a působí jako odborný asistent na Katedře filosofie Technické univerzity v Liberci. Aktuálně se věnuje vybraným morálním dilematům spojeným s vývojem moderních biotechnologií, nanotechnologií a jejich propojení s informačními technologiemi.

Academix Revue Největší existenční riziko naší doby

Toby Ord, Nad propastí: Existenční riziko a budoucnost lidstva. Praha: Argo 2022, 480 s.

Jakým největším globálním katastrofickým rizikům čelí lidstvo v 21. století? Jedná se primárně o přírodní katastrofy, jaderné války, terorismus, globální oteplování nebo snad umělou inteligenci? V knize Nad propastí, s podtitulem Existenční riziko a budoucnost lidstva, se oxfordský filozof Toby Ord snaží o exaktní uchopení katastrofických hrozeb a kvantifikaci míry jejich rizikovosti. Tato recenzní esej se zaměřuje na dvě zásadní komplexní výzvy naší doby: klimatickou změnu a umělou inteligenci. Podle Michala Trčky Ordova kniha zveličuje problematiku umělé inteligence, což může mít za následek upozadění jiných závažných rizik, mezi nimi i mnohých dopadů změny klimatu, které jsou oproti spekulacím spojeným s AI žitou realitou.

Asteroid o délce deseti kilometrů a váze bilion tun v rychlosti převyšující 60 000 km/h se střetává se Zemí, čímž vyvolá explozi, která uvolní desettisíckrát více energie, než kolik by dokázal veškerý jaderný arzenál za studené války. Jako by na Zem z vesmíru dopadlo deset miliard bomb svržených na Hirošimu. Obraz apokalypsy zahrnuje ohořelé zbytky všeho živého v okruhu tisíce kilometrů, požáry v okruhu milion čtverečních kilometrů, tsunami a záplavy, ale především jemný prach. Ten zůstává ve vzduchu, vystoupá do vysokých vrstev atmosféry a zacloní svit slunce. Tím začíná období zimy a tmy, hromadné vymírání tří čtvrtin všech pozemských druhů a končí sto milionů let dlouhá vláda dinosaurů. Tolik v kostce parafráze jedné z katastrofických scén, které líčí Toby Ord ve své knize Nad propastí s podtitulem Existenční riziko a budoucnost lidstva, která se v minulém roce dočkala také českého překladu od Anny Štádlerové.

Pokud se bojíte zkázy způsobené asteroidem či kometou, tento oxfordský filozof má pro vás dobrou zprávu: od osmdesátých let existuje vědecký obor zaměřený na zkoumání nebezpečí dopadu mimozemských těles. Při jeho založení přitom nešlo jen o to pozorovat blížící se tělesa, byl to ambiciózní plán najít a sledovat všechny asteroidy. Podle odhadů bylo nalezeno 95 % asteroidů větších než jeden kilometr a všechny ve velikosti nad deset kilometrů. Ještě lepší zprávou pak je, že žádný z nich nepředstavuje bezprostřední nebezpečí. Jedná se o ukázkový příklad racionální a efektivní reakce lidstva. Vědci odhalili riziko, za dvanáct let ho začala řešit vláda, našly se finance, rozeběhla se mezinárodní spolupráce a v průběhu osmadvaceti let od potvrzení možného rizika byla zmapována dráha téměř všech velkých asteroidů. Pokud se bojíte zbývajících pěti procent neznámých těles, může vás uklidnit třeba to, že se v minulém roce sondě DART americké vesmírné agentury NASA podařilo zasáhnout planetku Didymos a vyzkoušet tak v praxi vychýlení dráhy asteroidu.

Asteroidy stále patří mezi rizika, která by vedla k vyhynutí lidstva, ale pokud vyčíslíme  pravděpodobnost jejich kolize s naší planetou, vidíme, že se dnes jedná o riziko takřka zanedbatelné. V následujících sto letech je riziko dopadu 1 : 120 000 pro asteroidy o velikosti od jednoho do deseti kilometrů a 1 : 150 milionům u obrů nad deset kilometrů. Existenční rizika však nemusí být jen hrozby, které by mohly vést k vyhynutí lidstva, ale i katastrofy, které by vedly k nuznému přežívání lidstva ve zničeném světě, zničení jeho dlouhodobého potenciálu, zhroucení civilizace. Podle Ordových odhadů jsme ve 20. století čelili přibližně jednoprocentnímu riziku zániku nebo zhroucení civilizace, v 21. století se pravděpodobnost existenční katastrofy zvyšuje na 1 : 6 a v příštím století bude ještě vyšší, pokud naše moc poroste rychleji než naše moudrost. A právě to je „doba nad propastí“, která dává název Ordově knize; pár století, kdy máme šanci zvládnout hrozby, které nad námi už začínají kroužit jako krkavci. Pár set let, než bude množství rizika neudržitelné, a zajištění dlouhodobé budoucnosti lidstva kvůli tomu nemožné.

Náš potenciál je přitom opravdu fascinující. Osm miliard lidí žije na světě dnes, 109 miliard lidí žilo před námi, a to, kolik lidí může přijít po nás a jak kvalitní životy budou žít, máme do značné míry ve svých rukou. Jak ve své analýze The future is vast – what does this mean for our own life? (Budoucnost je nesmírná – co to znamená pro náš vlastní život?) uvádí Max Roser, vesmír bude existovat biliony let. Jen k jednomu z jeho scénářů: „… délka života typického savčího druhu je přibližně 1 milion let. Zamysleme se nad budoucností, v níž lidstvo existuje 1 milion let: 200 000 let už máme za sebou, takže by nás čekalo ještě 800 000 let. Uvažujme o scénáři, v němž se populace ustálí na 11 miliardách lidí (na základě prognóz OSN pro konec tohoto století) a v němž se průměrná délka života zvýší na 88 let. V takové budoucnosti by v příštích 800 000 letech žilo 100 bilionů lidí.“ 

Stejně tak Ordovy analýzy můžeme zahrnout do etické filozofie longtermismu, jejímž hlavním zájmem je otázka, jaké dopady budou mít naše činy na dlouhodobou budoucnost. Úvahy o existenčních rizicích mají nicméně ještě delší tradici.

Poté co byla Hirošima srovnána se zemí, přibývalo odborných diskusí o možném zničení světa. V roce 1955 vyústily např. ve vydání tzv. Russellova-Einsteinova manifestu, v němž spolu s dalšími jedenácti významnými intelektuály upozornili nejen na potenciální důsledky jaderného konfliktu, ale vyzvali také k mírovému řešení studené války. V šedesátých letech v knize The End of the World se John Leslie začal věnovat obecným otázkám vyhynutí lidstva, a na jeho práci navázal i ředitel Ordova pracoviště Future of Humanity Institute Nick Bostrom, který analyzuje širší záběr existenčních rizik a například spolu s astronomem Milanem M. Ćirkovićem a dalšími více než dvěma desítkami výzkumníků v roce 2008 vydal knihu Global Catastrophic Risks (Globální katastrofická rizika) o nejzávažnějších rizicích, které mají potenciál způsobit smrt a zkázu v globálním měřítku. Ordova kniha na Bostroma v řadě ohledů navazuje.

Jakým největším globálním katastrofickým rizikům tedy lidstvo čelí v 21. století? Jedná se primárně o přírodní katastrofy, jaderné války, terorismus, globální oteplování nebo snad umělou inteligenci? Pokud bychom se zaměřili na témata, která nejsilněji hýbou veřejným prostorem, domnívám se, že by v soutěži o největší veřejný zájem vyhrály změna klimatu spolu s umělou inteligencí. Zaměřím se právě na tato dvě témata a s nimi spojená katastrofická rizika, která se ze stejného důvodu stala i klíčovými tématy tohoto čísla. Obě tyto hrozby spadají mezi tzv. antropogenní rizika, tedy rizika spojená s lidskou aktivitou, která podle Orda představují větší hrozbu než všechna přírodní rizika dohromady. S tím bych i souhlasil, nicméně postupně k jeho odhadům a snaze o kvantifikaci rizik doplním několik kritických poznámek.

 

Uvažujme o scénáři, v němž se populace ustálí na 11 miliardách lidí (na základě prognóz OSN pro konec tohoto století) a v němž se průměrná délka života zvýší na 88 let. V takové budoucnosti by v příštích 800 000 letech žilo 100 bilionů lidí.“

 

Otepluje se, teplý vzduch udrží více páry než studený, což způsobí další oteplení atmosféry. Logicky tedy opět zůstane více páry ve vzduchu. Pára má však mimo jiné tu vlastnost, že je silným skleníkovým plynem, což zapříčiní další oteplování v atmosféře. Asi není třeba pokračovat, jak vypadá cyklus dalšího oteplování. Jedná se o zpětnou vazbu, která sama sebe zesiluje (feedback loop). Nejhorší známý scénář, tzv. překotný skleníkový efekt (runaway greenhouse effect), končí tím, že se oceány nakonec odpaří a život nebude možný. 

Takový obraz pusté planety způsobené uvedeným efektem si můžeme prohlédnout už dnes na Venuši, a jeho zopakování hrozí i na Zemi. Může se však odehrát až za stamiliony let, kdy bude slunce teplejší. Dnešní výzkumy ukazují, že antropogenní emise na to nestačí, stejně jako na tzv. vlhký skleníkový efekt (moist greenhouse effect), což je obdobný cyklus zpětné vazby, který by rovněž vedl ke katastrofickému scénáři globálního oteplování, jen ne k odpařování oceánů.

To jsou také podle Orda jediné dvě varianty změny klimatu, které můžeme samy o sobě označit za existenční riziko. Nicméně je považuje za nepravděpodobné. To rozhodně neznamená, že bychom autora knihy mohli řadit ke klimaskeptikům. Změna klimatu podle něj sice nepovede k vyhynutí lidského druhu, ale souhlasí s vědeckým konsenzem, podle něhož si změna klimatu „vybere vysokou daň na lidstvu a životním prostředí“.

Kromě dvou výše popsaných efektů zvažuje i realističtější varianty. Jiným zpětnovazebním efektem by mohlo být tání arktického permafrostu nebo uvolňování metanu z hlubin oceánů. Jejich rizikovost však podle Orda snižuje řada nejasností a odhadů. A co kdybychom spálili více fosilních paliv? Odhadem do roku 2100 podle současné politiky uvolníme 1000–1700  GtC (gigatun uhlíku), což je dvakrát více než dosud, a povede to  k oteplení přibližně o 1,5–4,5 °C. Vzhledem ke zdrojům fosilních paliv, které máme k dispozici, bychom dokázali uvolnit až osmkrát více uhlíku než doteď, přibližně od 5000 do 15 600 GtC. Při 5000 GtC je odhad oteplení přibližně o 9–13 °C.
Ord se domnívá, že i při tomto nárůstu teploty bychom jako lidstvo přežili, nicméně  důsledky by byly katastrofální. V kostce: menší úroda není takový problém, protože bude možné pěstovat plodiny na nových plochách, na kterých to dnes není možné. Stoupající hladina moří se většiny pevniny nedotkne. Nedostatek pitné vody můžeme přinejhorším vyřešit odsolováním mořské vody. Nejzávažnější problém vidí v přehřátí lidského organismu. Potřebujeme zkrátka žít v prostředí, které je chladnější než my. Pokud by teplota vystoupala o 12 °C, pevnina, na které dnes žije polovina lidí, bude jednoduše neobyvatelná. Jistě, přežili bychom v přímořských a vysoko položených oblastech. Ovšem za cenu hladomoru, environmentální tragédie a těžko představitelné a řešitelné globální klimatické migrace.

Vyústění Ordovy analýzy tedy jde proti přesvědčení, že změna klimatu sama o sobě je katastrofickým globálním rizikem, ale prolíná se v ní obava, že může přinést obrovské škody a náklady, nové konflikty mezi státy apod., což přispěje k našemu oslabení, a tím pádem budeme o to více vystaveni jiným existenčním rizikům.
S tím vším se nicméně pojí řada problémů, na které upozorňuje i sám Ord. Uznává totiž, že vinou různých odhadů a nejistot v propočtech a modelech může být změna klimatu ještě dramatičtější, například v případě zpětnovazebních efektů spojených s táním arktického permafrostu, u kterého jsme si jistí, že částečně roztaje, jen zatím neznáme rozsah efektů a časový rámec. Primárně je však potřeba vyzdvihnout fakt, že se jedná o proměny Země, které svým rozsahem nemají v historii obdoby. Přestože v našich paleoklimatických dějinách byla mnohem teplejší období,  např. paleocenní-eocenní teplotní maximum, které nevedlo k hromadnému vymírání i při nárůstu teploty na 14 °C oproti předprůmyslové úrovni, nejenže nemáme přesná data a savci, kteří přežili, byli menší; co je nejdůležitější, antropogenní oteplování by mohlo být až stokrát rychlejší. Sám Ord zmiňuje, že rychlé oteplení možná přispělo k permskému masovému vymření 96 % tehdy žijících druhů, a uznává, že tempo změny může být stejně důležité jako její rozsah. Při četbě jeho vlastní analýzy se tedy nabízí otázka, proč vyčíslil existenční riziko změny klimatu na 1 : 1000, zvláště porovnáme-li tyto hrozby s riziky, která vyhodnocuje jako daleko závažnější.

 

Ord zmiňuje, že rychlé oteplení možná přispělo k permskému masovému vymření 96 % tehdy žijících druhů, a uznává, že tempo změny může být stejně důležité jako její rozsah.

 

Dosáhneme bodu, kdy bude vytvořena obecná umělá inteligence (AGI, z anglického artificial general intelligence), tj. všestranná umělá inteligence podobná lidské. AGI získá přístup k internetu, rozšíří se do počítačových systémů po celém světě a bude schopnější než  nejlepší současní hackeři. Stačí si představit, co by bylo možné dokázat jen nabouráním se do bankovních účtů, natožpak třeba do armádních systémů. Tak zní jedna z Ordových dalších verzí existenční katastrofy.

Také jiní autoři dystopických scénářů vidí v AGI hrozbu. Její cíle by se údajně rozešly s těmi lidskými a AGI by se jich přesto snažila dosáhnout a k tomu zachovat sebe samu. Lze snadno dovodit, že v případě střetu by nás inteligentnější agenti pravděpodobně přemohli. Následkem by mohlo být zotročení, nebo i zničení lidstva. Některé scénáře navíc očekávají „inteligenční explozi“, která by tyto hrozby znásobila.

Řešení spočívá např. ve vývoji systémů, které budou poslouchat lidské příkazy, jejich hodnoty a cíle budou v souladu s našimi. Osobně se obávám, že, vzhledem k rozmanitosti lidských hodnot a jejich komplexnosti tento cíl není dosažitelný. Vznikl k tomu sice celý obor, který se nazývá alignment research, nicméně přelomové nebo alespoň významné hmatatelné výsledky dosud nepřinesl. Někteří jeho představitelé nevolají pouze po regulaci AI, ale jejich požadavky cílí na zpomalení nebo dokonce zastavení vývoje AGI, dokud nenajdeme způsob, jak ji sladit s lidskými hodnotami.

Toby Ord je ve svých výrocích daleko opatrnější a optimističtější než zmíněný Nick Bostrom (který se proslavil publikací Superinteligence o hrozbě AI, jež ve všech aspektech překoná lidskou inteligenci). Připouští, že argumenty v této oblasti rizik jsou nejspekulativnější. V tuto chvíli podle něj nedisponujeme dostatečně přesnými údaji k určení pravděpodobnosti tohoto typu hrozeb. Přesto odhaduje existenční katastrofu způsobenou AI nesladěnou s lidskými hodnotami jako nejvyšší riziko pro lidstvo v následujících sto letech 1 : 10. 

Jakou metodikou k takovému číslu došel? Nejprve na základě vlastních dojmů stanovil pravděpodobnost a tu teprve upravil podle vědeckých důkazů. Připouští, že pokud nemáme dostatek důkazů, při stanovení hodnoty pravděpodobnosti, záleží na našem subjektivním počátečním odhadu. Jako jeden z důkazů, který ostatně používají i jiní autoři, u kterých se při určování pravděpodobnosti inspiroval, uvádí průzkumy mínění mezi experty na AI. Z jejich zprůměrovaných odpovědí vychází, že lze vytvořit AGI v následujících sto letech. Ale ani na tom mezi experty nepanuje shoda. Časový odhad nám navíc vůbec nic neříká o tom, kdy bude AGI s inteligencí alespoň srovnatelnou s lidskou vytvořena. Je také nesmyslné odhadovat rizika podle podobných průzkumů, v tomto případě z nich navíc ani nic nevyplývá o jejich reálnosti.

Základní podmínkou pro to, aby  nějaký systém AI usiloval o zničení lidstva, nebo je zničil náhodou, v důsledku snahy dosáhnout vlastních cílů, je samotný vznik AGI. Fantastické výsledky AI jsou však do značné míry důsledkem toho, že současné techniky zpracování dat snadno pojmou tisícinásobně více než člověk, umí také lépe rozpoznávat vzory a statistické vztahy a lépe memorovat. Avšak jak opakují kritici strašení umělou inteligencí: AI zcela chybí mentální stavy. Dnes se jedná především o simulaci a využití vybraných rysů inteligence a daleko jednodušší způsoby učení, než které používá člověk. Jednotlivé systémy schopností přitom ani nedokážeme účinně propojit, což je nezbytnou podmínkou pro všestrannost AGI.

Řada expertů, včetně hlasů zastoupených ve čtvrtém čísle revue Academix, navíc upozorňuje, že neuronové sítě, které dnes ve výzkumu a vývoji AI dominují, nebudou dostačující technologií ke vzniku AGI. Jsou totiž statické a po natrénování už neprochází žádnými změnami, které by byly potřebné pro vytvoření komplexních systémů spojených se samovolným rozvojem složitosti, jakým je i lidské vědomí.

Jeden z dnes již patrně překonaných argumentů spočívá v tom, že vyšší rychlost zpracování informací u strojových substrátů než u biologických entit svědčí o další výhodě, která povede ke vzniku superinteligence. Oproti tomu se již v dnešní diskusi často poukazuje na komplexnost živých organismů jako podmínku vzniku vědomí. Proto se spekuluje o tom, že by na cestě k obecné umělé inteligenci musely být dnešní počítače nahrazeny počítači hybridními, které by využívaly živé organismy.

Někteří autoři, například Jobst Landgrebe a Barry Smith v knize Why Machines Will Never Rule the World: Artificial Intelligence without Fear (Proč stroje nikdy neovládnou svět: Umělá inteligence beze strachu), jdou ve své kritice ještě dál. Tvrdí, že ať už se jedná o počítač nebo AGI, konstruujeme logický systém, který je možné matematicky modelovat. AGI je proto z matematických důvodů nemožná, protože schopnost lidského mozku a centrálního nervového systému, tj. komplexního dynamického systému, matematicky modelovat nelze. Proto nám nepomůžou ani kvantové počítače, které pouze zajistí rychlejší provádění algoritmů. Složitost modelování spočívá např. v tom, že mentální procesy jsou zároveň procesy fyzikálními, jsou dynamické, adaptivní, neustále se vyvíjejí a představují systémy, jejichž chování ovlivňuje a je ovlivňováno prostředím, v němž fungují. Aby argumentace Landgrebeho a Smithe byla neplatná, museli bychom vyvinout novou matematiku, s pomocí které bychom dokázali modelovat složité mentální procesy. Opět jsme ovšem na poli spekulací a nejasné budoucnosti.

Z této kritiky neplyne, že by AI nebyla mocná technologie. Přináší řadu výzev a rizik. Jedno z nebezpečí morální paniky kolem AGI je to, že až příliš mnoho pozornosti odvádí od současných reálných problémů AI, a podle mého soudu nejen od nich, ale i dalších typů rizik. Je nutné si uvědomit, že výzkumníkům AI jako civilizační hrozby jde také o to obhájit svou práci, která se zabývá potenciálním existenčním rizikem vzdáleným minimálně několik desítek let, což do jisté míry vysvětluje nutnost zajistit těmto tématům dostatečnou publicitu. Také Ord neopomene několikrát využít prostor k tomu, aby prezentoval činnost a významnost svého domovského pracoviště Future of Humanity Institute.

Vedle toho je nutné doplnit, že vývoj AI je pro nás nezbytnou nutností pro řešení globálních problémů, a to nejen těch ekologických. Jak ukázala nedávná zkušenost s využitím neuronových sítí v epidemických modelech, bude nápomocná také v boji s budoucími pandemiemi a tudíž pro dlouhodobé přežití lidstva. Samotné požadavky zpomalit nebo zastavit vývoj AI, dokud nebudeme schopni přijít na to, jak ji sladit s lidskými cíli a hodnotami, se tak stávají bezpečnostním rizikem. Nicméně určitě panuje shoda na tom, že je třeba učinit AI bezpečnější, spolehlivější a transparentnější.

 

Jedno z nebezpečí morální paniky kolem AGI je to, že až příliš mnoho pozornosti odvádí od současných reálných problémů AI...

 

Pokud bych měl uzavřít hodnocení Ordovy knihy, jedná se jistě o inspirativní a neskutečně precizně připravené čtivo. Dokonce by se dalo říct, že se jedná o „dvouknihu“, kdy druhou knihu tvoří nebývale rozsáhlý doprovodný poznámkový aparát pro ty, kteří chtějí porozumět tematice do detailu nebo si zkontrolovat platnost či relevantnost použitých dat. Nevěnuje se přitom pouze jednotlivým existenčním rizikům. Jeho kniha nás vede od minulosti lidského druhu přes současnost jako jedinečný bod našich dějin, jednotlivá rizika včetně otázky jejich komparace a kombinace až po strategie jejich řešení a obraz naší potenciální budoucnosti.

Souhlasím s ním především v tom, že antropogenní rizika představují větší hrozbu než všechna přírodní rizika dohromady a že s rozvojem technologií se začínají objevovat také nová nebezpečí, která vedle svých přínosů zvyšují míru existenčních rizik. Na druhou stranu jako zavádějící a tím pádem i nebezpečnou vnímám jeho snahu o kvantifikaci rizik. Jak uznává sám Ord: „Přesná čísla očekávat nemůžeme, protože jde o rizika komplexní (nepostižitelná prostou matematickou analýzou) a bezprecedentní (nelze je přiblížit dlouhodobou statistikou).“

S kolegy jsme si chtěli vyzkoušet, jak existenční katastrofy vnímá česká veřejnost, a do dotazníku Nanotechnologie, rizika a etika jsme zařadili jednu takovou otázku. Pár stovek dosud nasbíraných odpovědí není relevantním vzorkem, alespoň částečně však myslím ilustruje, jaký vliv má nadsazování určitých hrozeb na veřejné mínění o nich. Z osmi rizik identifikovaných respondenty jako existenční se hrozby spojené s AI dostaly na druhé místo (po genetickém inženýrství), změna klimatu na šesté (přičemž měla jen poloviční skóre oproti AI), a jaderné zbraně, přestože sběr probíhá během válečného konfliktu na Ukrajině, na poslední příčku. 

Ordova kniha člověka až příliš unáší k úvahám o vzdálené budoucnosti a zveličuje problematiku umělé inteligence, což může mít za následek upozadění jiných závažných rizik, mezi nimi i mnohých dopadů způsobených změnou klimatu nebo hrozby jaderného konfliktu, které jsou oproti spekulacím kolem obecné umělé inteligence žitou realitou.