Academix Revue Panika kolem AI odvádí pozornost od reálných problémů
6.
Globální
katastrofická rizika

Panika kolem AI odvádí pozornost od reálných problémů

Jiří Wiedermann je uznávaný odborník na poli informatiky, jenž pracuje v Ústavu informatiky AV ČR. Jeho odborné zájmy mimo jiné zahrnují teoretickou informatiku, výpočetní složitost, nestandardní výpočetní modely, informační technologie, filozofické aspekty informatiky a mnohé další. V letech 2000–2012 byl ředitelem Ústavu informatiky AV ČR. Působil jako viceprezident Evropské společnosti pro teoretickou informatiku (EATCS), ve sboru ředitelů ERCIM (European Research Consortium in Informatics and Mathematics), je členem Academia Europaea (London) a České učené společnosti (Praha).

David Černý je vědeckým pracovníkem Ústavu státu a práva AV ČR a Ústavu informatiky AV ČR. Jeho výzkum se v poslední době zaměřuje zvláště na filozofické a etické implikace umělé inteligence a robotiky. Je autorem samostatných monografií Princip dvojího účinku. Zabíjení v mezích morálky (Academia, 2016), The Principle of Double Effect. A History and Philosophical Defense (Routledge, 2020), Eutanazie a dobrý život (Filosofia, 2021) a spoluautorem dalších knih o etice interrupcí, právech zvířat, výzkumu kmenových buněk a etice smrti a umírání a etice autonomních vozidel.

Academix Revue Panika kolem AI odvádí pozornost od reálných problémů

Rozhovor s Jiřím Wiedermannem a Davidem Černým

Michal Trčka: Během května 2023 jste spolu napsali několik textů a vydali prohlášení, které upozorňují na to, že se v poslední době kolem umělé inteligence, např. systémů GPT-4, šíří zbytečný humbuk. Jaké jsou vaše motivace k tomuto vstupu do veřejného prostoru a proč je podle vás pozdvižení kolem jazykového modelu GPT-4 nadsazené?

David Černý: Jednou z mých motivací je to, že se mi dlouhodobě zdá, že veřejná diskuse o umělé inteligenci je výrazně posunutá ve prospěch jakéhosi alarmistického technopesimismu a determinismu. Podobně jako v západní sci-fi je zde AI vykreslována v temných barvách a osud lidstva se prezentuje jako téměř jistá zkáza (podle Tobyho Orda nás AI do konce roku 2100 zahubí s pravděpodobností 1 : 10). Technopesimismus (AI je největší hrozbou současnosti) a determinismus (náš osud je do značné míry zpečetěný) jsou tedy dominantním narativem. Já s tím ale moc nesouhlasím, myslím si, že tento přístup vykládá příliš mnoho neznámých proměnných jako známé a téměř jisté. Kromě toho pesimistické scénáře ohledně AI jsou mysterium tremendum et fascinas; děsí nás a přitahují zároveň. Snad i proto jsou publikace technopesimistů takové bestsellery. Je signifikantní, že v češtině máme k dispozici hlavní díla „alarmistů“, Bostromovu Superinteligenci, Tegmarkův Život 3.0, Russellovo Jako člověk či Ordovo Nad propastí, ale žádné publikace, které vyjadřují vyváženější a optimističtější postoje, např. Rebooting AI. Building Artificial Intelligence We Can Trust od Garyho Marcuse a Ernesta Davise, Machines that Think od Tobyho Walsche, The Coevolution od Edwarda Ashforda Leeho, The Nature and Future of AI od Margaret Boden či The Myth of Artificial Intelligence od Erika Larsona. Pro veřejnou diskusi ohledně benefitů a rizik spojených s překotným vývojem umělé inteligence je nezbytné, aby zaznívaly rozdílné hlasy, což se u nás příliš neděje.

K druhé části otázky: GPT-4 je nepochybně pozoruhodný. Nemyslím si ale, že nás posunul tak daleko, že by obecná umělá inteligence byla už na dosah. A mezi obecnou AI a superinteligentní AI je terra incognita, skrze kterou nemusí existovat žádná schůdná cesta.

Jiří Wiedermann: K zamyšlení mě přiměla výzva vybraných osobností z oblasti AI k dočasnému pozastavení vývoje velkých jazykových systémů a reakce odborné veřejnosti a mediální scény na ni. Výzva se mi zdála (a pořád se zdá) naivní, nerealistická a nedostatečně zdůvodněná. Navíc reprezentuje názor pouze části expertů, kteří prokazatelně aktivně pracují v oblasti AI a podílejí se na jejím rozvoji. Je zajímavé si uvědomit, kolik známých tváří z této oblasti výzvu nepodepsalo, ve svých veřejných vystoupeních se od ní distancovali a svůj postoj velmi přesvědčivě zdůvodnili. Systémy jako GPT-3 a jejich následovníci nás nijak neposouvají směrem k existenčnímu ohrožení lidstva a naopak mohou zásadním způsobem přispět k identifikaci a zmírnění takových ohrožení.

MT: Přesto tento otevřený dopis, v němž různé osobnosti varují před možnými riziky a požadují zastavení vývoje AI na dobu půl roku, abychom si ujasnili rizika spojená s využíváním takto pokročilých systémů umělé inteligence a připravili se na to, jak jim čelit, podpořila i skupina významných odborníků na AI. Proč je tento požadavek nedostatečně zdůvodněný nebo nerealistický?

DČ: U takových otevřených dopisů je jistě zajímavé podívat se, kdo je podepsal, ale jak už řekl Jiří Wiedermann, neméně zajímavé a důležité je si uvědomit, kdo všechno je nepodepsal. Poslední podobná výzva se nedávno objevila na stránkách kalifornské společnosti Center for AI Safety. Z celkového počtu 259 signatářů jich jen 65 najdeme v seznamu prvního desetitisíce informatiků podle D-indexu, což je ukazatel, který vyjadřuje, jaký dopad mají práce daného odborníka na práce kolegů v daném oboru (zjednodušeně řečeno). A ze zbývajících desetitisíců odborníků výzvu podepsalo 60 signatářů, což je pouhých 0,6 %. Jinými slovy, 99,4 % informatiků ji nepodepsalo.
Vraťme se ale k otevřenému dopisu, ve kterém se vyzývá k pozastavení vývoje umělé inteligence. Jejím hlavním problémem je asi fakt, že je naprosto nerealistická. I kdyby se nějaké státy dohodly, že pozastaví vývoj AI, jakou máme záruku, že jiné státy udělají totéž? Je naivní si představovat, že by si třeba Čína či Rusko řekly: „OK, to je rozumná výzva, pojďme ji vyslyšet.“ Spíše budou doufat, že si ten zákaz uloží jejich geopolitičtí soupeři, zatímco oni získají nemalou strategickou výhodu. Uvědomme si, že když necháme stranou přehnané obavy z AI jako existenčního rizika (údajně dokonce největšího ze všech), nemůžeme popřít, že je umělá inteligence zdrojem pokroku, poznání, bude generovat bohatství a blahobyt, pohánět ekonomiku, vylepšovat vědu a techniku (a tento trend prudce narůstá). Je to zcela klíčová strategická technologie, která rozhodne o tom, v jakých zemích se bude generovat pokrok a bohatství a v jakých ne. Evropa si prostě nemůže dovolit zůstat pozadu, jinak se stane ekonomicky, vědecky a geopoliticky zcela bezvýznamnou.  

Výzva je nebezpečná i z jiného důvodu. Odvádí pozornost od aktuálních problémů. Systémy AI už jsou dávno mezi námi a měli bychom se soustředit na to, aby jejich využívání bylo rozumné, moudré a morálně správné. Mimo jiné to zahrnuje transformaci našeho vzdělávacího systému, aby zahrnoval algoritmickou gramotnost (a namísto na znalosti se soustředil na dovednosti). S tím je třeba začít okamžitě, protože dnes už je pozdě a zítra bude ještě později. Zatím to ale vypadá, že je pro mnohé, včetně politiků, výhodnější soustředit se na možná vzdálená rizika (tj. vlastně skoro nic nedělat) než začít okamžitě řešit rizika aktuální, spojená s AI: nezaměstnanost, ohrožení demokracie, zneužívání AI, narušování soukromí, využívání AI v nevhodných kontextech (např. při určování výšky trestů), stále rostoucí neschopnost kritického myšlení apod.

MT: V čem přesně vlastně spočívají limity neuronové sítě GPT-4? A co si představit pod „inteligencí“ tohoto systému?

JW: Limity GPT-4 jsou známé a spočívají v tom, že se jedná o inteligenci zdánlivou, nepřímou, odvozenou z popisů reálného světa, nikoliv z bezprostřední zkušenosti s ním. Dalším omezením takových systémů je fakt, že při formulaci odpovědí na dané dotazy („prompty“) se neřídí logikou, ale snahou být konzistentní s daty, ze kterých se systém učil. Tato data mohu být, a často jsou, protichůdná, což vede k tzv. halucinaci – systém konfabuluje, vymýšlí si neexistující fakta, která však nejlépe souhlasí s jeho trénovacími daty.

DČ: Systémy umělé inteligence jsou všechny úzké a ve své definované kognitivní doméně dosahují skvělých, dokonce i nadlidských výkonů. GPT-4 se učil na pro nás obtížně představitelně obrovských datech, kterými byly texty přístupné na internetu. Dokáže proto dříve neuvěřitelné věci, konverzovat v přirozeném jazyce, psát básně, povídky nebo dokonce i počítačové programy. V pozadí jsou sofistikované techniky statistické analýzy, díky kterým je možné sekvenci slov přiřadit další slovo a takto vzniklé sekvenci další slovo… Aby výsledky nebyly uniformní a neopakovala se v nich slova s největší pravděpodobností výskytu v datech, zahrnuje GPT-4 i nahodilost (prostřednictvím parametru „temperature“ o hodnotě 0,8; v pozadí není teorie, prostě se to zkoušelo a tento funguje nejlépe).

Rozhodně netvrdím, že GPT-4 není inteligentní. Je to ale velmi, velmi omezená forma inteligence. Musíme si uvědomit, že v pozadí úspěchu tohoto a podobných systémů je inteligence naše, lidská. My lidé dokážeme poznávat dynamický a neustále se měnící svět, získávat o něm poznatky, které posléze umíme zapsat v nějakém jazyce a předávat je dále. Naše inteligence je neuvěřitelně široká a flexibilní. Jazykové modely umí „jen“ pracovat s numerickými reprezentacemi slov a zpracovávat je podle naučených pravidel. Představme si vědce, který celý život prováděl velmi sofistikované zkoumání chování potkanů a napsal o tom několik článků. A zamysleme se nad tím, jaké formy teoretické a praktické inteligence musel neustále uplatňovat, aby to vše bylo možné. Když necháme GPT-4 pročíst si jeho práce, dokáže je shrnout, odpovídat na nějaké otázky, skoro jako kdyby věděl to, co věděl ten vědec. Ale to je iluze. Neví z toho prakticky nic. A hlavně postrádá flexibilní aktérství. Dělá to, na co byl natrénovaný, těžko ale může jako ten vědec reagovat na nové a neočekávané podmínky a přizpůsobovat jim své plány, které by poté dokázal realizovat.

JW: Sílu a slabost takových systémů velmi dobře vystihuje následovné podobenství o mluvícím psu převzaté z článku T. Sejnowského, jednoho z pionýrů AI. V podobenství jde o situaci, kdy řidič uvidí u silnice inzerát nabízející k prodeji mluvícího psa. Řidič zastaví a pes ho hned vítá plynule ve čtyřech řečech. Řidič nevěří vlastním očím a uším a ptá se, kde se pes takovým schopnostem naučil. Pes mu vysvětlí, že pracoval v tajných službách, kde doprovázel diplomaty a politiky a odposlouchával v kuloárech ostatní účastníky. Když si chce řidič psa koupit, diví se, že jeho majitel chce za psa poměrně malý obnos. Majitel však poukáže na to, že pes je prakticky k ničemu, protože se nikdy nepohnul ze svého dvorku, pořád si jenom čte na internetu a všechno, co o sobě tvrdí, si vymýšlí.

MT: Co je vaším stěžejním argumentem proti tvrzením, že je AI dokonce existenčním rizikem, tedy hrozbou, která buďto zničí lidstvo, nebo zlikviduje potenciál jeho dalšího rozvoje?

JW: Pravděpodobnost takového scénáře je velmi malá, a k minimalizaci této pravděpodobnosti, až k jejímu vynulování, může přispět právě AI samotná. Domnívám se, že již teď benefity z využívání AI vysoce převažují, a i nadále budou převažovat nad situací, kdybychom se jich vzdali.

DČ: Zdá se mi, že příběh, jehož vyústěním je zkáza lidstva, zahrnuje příliš mnoho neznámých. Trajektorie obecná AI – superinteligentní AI – existenční riziko – zkáza lidstva se prezentuje jako něco, co je zahrnuto v samotné podstatě aktérů tohoto příběhu. A ten už má své vyústění takřka automaticky dané (i když zatím je ještě čas s tím něco udělat, třeba přestat obecnou AI vyvíjet). Jenže když se podíváme na argumenty zastánců tohoto pesimistického narativu, vlastně jich moc nenajdeme. Někdo se spokojuje s tím, že o vzniku AGI a AAGI je většina odborníků přesvědčená. Jiní se odvolávají na to, že bychom neměli podceňovat lidskou vynalézavost (netvrdili snad dříve vědci, že získávat energii štěpením jader atomů není možné?), další zase hovoří o tom, že když necháme AGI, aby se sama vylepšovala, těžko nemůže propuknout exploze stále dokonalejších superinteligencí. 
Nejsem tak radikální jako třeba americký filozof Barry Smith, který ve své poslední knize argumentuje, že AGI není možná (a proto nikdy nedospějeme k superinteligenci). Mám ale pochybnosti, že cesta od AGI k té superinteligenci je tak jednoduchá, jak si to někteří představují. Koneckonců obecná inteligence již existuje: ta lidská. A víme naprosto bezpečně, že za celou dobu své existence nepronikla do hlubin tajemství své kognitivní architektury natolik, aby se vylepšila na nějakou lidskou superinteligenci. Proč si tedy myslet, že to dokáže obecná AI? Není v pozadí nedostatečné rozlišení mezi inteligencí – schopností splnit nějaký úkol (která se nepochybně zlepšuje) a inteligencí – schopností vylepšovat vlastní inteligenci při plnění nějakého úkolu?

Celý rozhovor si přečtěte v tištěné verzi Academix revue 6/2023.