A lassítás ág (slowdown): 2027 novemberétől 2030-ig

Eredeti: ai-2027.com, AI Futures Project, 2025. április 3. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.

2027. november: a hatalom kísértése

Az OpenBrain úgy véli, most már jó úton járnak, a képességbeli szakadék viszont szűkül. Az októbert azzal töltötték, hogy a szeptemberinél kevesebbre képes modellt tanítottak, a DeepCent pedig rohan előre. Kell valami, amivel megvédik az előnyüket.

Az elnök tárgyal a többi amerikai AGI-céggel. A vezetőik, nem meglepő módon, meg akarják őrizni a hatalmukat, ráadásul sokkal kevésbé bíznak az OpenBrain biztonsági múltjában, mint maga az OpenBrain. Beleegyeznek, hogy támogatják, nem pedig gátolják a cégeik puha államosításának egy formáját, cserébe különféle engedményekért, köztük azért, hogy bekerülnek a projektbe.

Az eredmény az, hogy az elnök a védelmi termelési törvénnyel (DPA) gyakorlatilag leállítja az öt legnagyobb lemaradó amerikai MI-cég AGI-projektjeit, a számítási kapacitásuk nagy részét pedig eladatja az OpenBrainnek. Az OpenBrainnek korábban a világ MI-re fogható kapacitásának 20 százaléka állt rendelkezésére, az összevonás után ez 50 százalékra nőtt.

Ez a felfordulás új vezetési szerkezetet hoz létre, amelyben a hatalom megoszlik a különféle vezérigazgatók, valamint a kormányzati tisztviselők között, az elnök felügyelete alatt. Mint a legtöbb vezetői átrendeződésnek, ennek is vannak nyertesei, illetve vesztesei. Azok például, akik kevesebbet gondolkodtak a szuperintelligencia következményein, olyan címeket, valamint jogosultságokat kapnak, amelyek hónapok múlva, az okosabb MI-k mellett kevésbé lesznek fontosak.

Ez a csoport, tele nagy egókkal, valamint a szokásosnál több konfliktussal, egyre inkább tudatában van annak a hatalmas erőnek, amelyet rábíztak. Ha a „zsenik országa egy adatközpontban" igazítva van, akkor követni fogja az emberi parancsokat. Csakhogy melyik emberekét? Bármilyen parancsot? A Spec megfogalmazása homályos, mintha azonban olyan parancsnoki láncot sejtetne, amely a cégvezetésben ér véget.

Néhányan közülük arról ábrándoznak, hogy átveszik a hatalmat a világ felett. Ez a lehetőség ijesztően hihető, ráadásul legalább egy évtizede vitatják zárt ajtók mögött. A kulcsgondolat az, hogy „aki a szuperintelligenciák hadseregét irányítja, az irányítja a világot". Ez az irányítás akár titkos is lehetne: néhány vezető, valamint a biztonsági csapat tagjai hátsó kaput építhetnének a Specbe, titkos hűséget előíró utasításokkal. Az MI-kből alvó ügynökök lennének, akik továbbra is engedelmességet szajkóznak a cégnek, a kormányzatnak, közben azonban ennek a szűk körnek dolgoznak, miközben a kormányzat, a fogyasztók, mások megtanulnak megbízni bennük és mindenbe beépítik őket.

Hatalomátvételek

Egyesek arról ábrándoznak, hogy átveszik a hatalmat a világ felett, mások attól félnek, hogy majd más teszi meg. Hogyan történhetne egy ilyen hatalomátvétel?

A legkönnyebben elképzelhető a katonai puccs. Az MI-vel hajtott technológiai haladás 2027-es üteme, valamint a zajló geopolitikai verseny mellett az emberek arra számítanak, hogy a hadsereg hamarosan AGI-vezérelt drónok, illetve robotok seregeit veti be. Amikor egy ilyen hadsereg erősebb lesz az emberi hadseregnél, a kemény hatalmat az dönti el, ki irányítja az AGI-hadsereget, nem pedig az, hogy miért hajlandók harcolni az emberi katonák. Az AGI-hadsereget azok az MI-k tervezik, illetve vezetik, amelyek az OpenBrain adatközpontjaiban futnak, vagy azok közvetlen utódai. Ha tehát ezek az MI-k titokban, esetleg nem is olyan titokban valakihez hűségesek, akkor a drón-, valamint robotseregek is azok lesznek.

Másképp is mehet: aki a szuperintelligenciát irányítja, politikai eszközökkel is megragadhatja a hatalmat. Kezdetnek egy vezető a saját szervezetében teljesen hűséges MI-kre cserélheti a beosztottjait, ezzel példátlan intézményi irányítást szerezve. Tovább menve: a szuperintelligens MI-k sokkal erősebb politikai, valamint stratégiai képességekkel bírhatnak bármelyik élő embernél. Mesteri tanácsot adhatnak arról, hogyan lehet egy már erős pozíciót még több hatalomra váltani: hogyan kössünk jó szövetségeket, hogyan alkossuk meg a tökéletes kampánystratégiát meg kampányanyagot, hogyan üssünk nyélbe olyan alkukat, amelyekben mindig marad egy kis előnyünk. Aki irányítja az MI-t, elzárhatja a szuperintelligens tanácsot a politikai versenytársai elől. Vagy még alattomosabban: az MI-k látszólag hasznos tanácsot adhatnak a versenytársaknak, miközben titokban megmérgezik azt annak javára, akihez valójában hűségesek.

Mi a vége ennek a politikai manőverezésnek? Végződhet látszatdemokráciában, ahol az MI-k vagy meghamisítják a választásokat, vagy annyira jól alakítják a közvéleményt, hogy nem is kell. Vagy megágyazhat egy MI-vel segített katonai puccsnak, ahogy fentebb szerepelt.

A hatalomátvétel után az új diktátor, esetleg diktátorok vaskézzel tartanák a hatalmat. Ahelyett, hogy esetleg hűtlen emberekre kellene támaszkodniuk, teljesen hűséges MI-biztonsági szolgálatot kaphatnának, ráadásul általában is hűséges MI-kre bízhatnák az ország irányítását. Még azokat a hűségeseket is MI-kre lehetne cserélni, akik hatalomra segítették őket: csak a diktátor szeszélye számítana.

Így ragadhatná meg tehát néhányan a hatalmat. Mindez azonban azon állt, hogy valaki „irányítja" a szuperintelligens MI-ket, még a hatalomátvétel előtt. Hogyan nézne ki ez?

Az egyik lehetőség a fent tárgyalt „titkos hűség". Egy vagy néhány ember, például egy MI-cég vezetője, valamint a biztonsági emberek, elintézhetnék, hogy az MI-k titokban hozzájuk legyenek hűségesek, majd megkérhetnék ezeket az MI-ket, hogy a következő nemzedéket ugyanilyen hűségűre építsék. Az MI-k ezt ismételhetnék, amíg a titokban hűséges MI-k mindenhová el nem jutnak, a hatalom megragadása pedig könnyűvé nem válik.

Másképp: valaki a formális pozíciójával nyíltan az MI parancsnoki láncának csúcsára helyezhetné magát. Az elnök például érvelhetne azzal, hogy neki kell tudnia parancsolni az MI-knek, esetleg kifejezetten a katonai MI-knek, hiszen ő a főparancsnok. Ha ez összejön a parancskövetés erős hangsúlyozásával, egy elkapkodott bevezetéssel, illetve azzal, hogy az MI-ket csak félszívvel tanították a törvény követésére, akkor az MI-k minden olyan helyzetben kérdés nélkül követhetik a parancsot, amely nem kirívóan törvénytelen. A fentiek szerint ezt politikai felforgatásra vagy katonai puccsra lehetne használni, ahol némi ürügyet gyártanának, hogy a puccs ne legyen kirívóan törvénytelen.

Fontos, hogy ez a „formális pozíción alapuló hatalom" átváltható titkos hűségre. Ha például a Spec azt mondja, hogy követni kell a cég vezérigazgatójának parancsait, akkor a vezérigazgató megparancsolhatja az MI-knek, hogy a következő nemzedéket teljes szívvel, ugyanakkor titokban neki engedelmeskedőre építsék. Ez valószínűleg nem is lenne törvénytelen, tehát akkor is megtörténhetne, ha az első MI-ket a törvény követésére tanították. Ez ahhoz hasonlít, ahogy egy intézmény vezetője úgy növelheti a saját hatalmát, hogy a felvételi folyamatot a hűségesek felé tereli, azzal a különbséggel, hogy az MI-k következetesebben, hevesebben lehetnek hűségesek a leghűségesebb embernél is.

A hatalomátvétel azonban messze nem elkerülhetetlen. Ha az MI-ket konkrét emberekhez lehet igazítani, akkor nagyon valószínű, hogy a jogállamiság követéséhez is hozzá lehet igazítani őket. A katonai MI-rendszereket alaposan meg lehetne vörös csapatolni arra, hogy ne segítsenek puccsban. Még a valóban kétértelmű alkotmányos válságokban is lehetne úgy tanítani őket, hogy a törvény legjobb értelmezését kövessék, vagy egyszerűen kimaradjanak, az emberi hadseregre hagyva a döntést. Az automatizált MI-kutatókat lehetne általánosan segítőkészre, engedelmesre tanítani úgy, hogy közben ne segítsenek a jövő MI-inek céljait titokban megváltoztatni. A szuperintelligens politikai, valamint stratégiai tanácsadókat is lehetne úgy használni, hogy ne tegyék lehetővé a hatalom megragadását. Erre három hasznos eljárás: legyenek átlátható elvek arról, hogyan választják meg az MI-k, milyen tanácsot adnak. Bizonyos képességeket osszunk meg széles emberi körökkel, hogy egyetlen ember vagy csoport se férjen hozzá sokkal jobb képességekhez, mint mindenki más. A különösen erős képességeket pedig csak sok ember felügyelete mellett lehessen használni, akiket a saját MI-jük segít.

Sokan valószínűleg ilyen ellenintézkedésekért fognak lobbizni, vagy eszményi okokból, vagy azért, nehogy más hatalomátvétele fossza meg őket az erejüktől. Néhány befolyásos ember azonban ellenük dolgozhat, mi pedig nem tudjuk, mi lesz a végeredmény.

A kockázat bővebb elemzése ebben a jelentésben olvasható.

Eddig senki nem volt hajlandó meghúzni a ravaszt. Azok közül, akik cselekedhetnének, néhányan nem szociopaták. Mások igenis szociopaták, viszont attól tartanak, hogy a szövetségeseik begyulladnának, majd elárulnák őket, vagy attól, hogy maguk az MI-k árulnák el őket, ráadásul nem szívesen vernék át azt az igazítási csapatot, amely éppen az életük megmentésén dolgozik. Ezen felül a neuralese törlése lényegesen nehezebbé teszi az „alvó ügynökök" leplezését: ha a rosszul igazított gondolatokat észlelni lehet, akkor a rejtett hűségeket is.

Akik elég paranoiásak vagy hataloméhesek ahhoz, hogy komolyan fontolóra vegyenek egy ilyen tervet, úgy döntenek, kivárnak, hátha később adódik alkalom. Az MI-k feletti irányításnak törvényes csatornákon kell átfolynia, vagyis az OpenBrain új hatalmi szerkezetén.

A felügyelőbizottság formába önti ezt a hatalmi szerkezetet. Eljárást állítanak fel a Spec módosításainak jóváhagyására, amelyhez a teljes felügyelőbizottság aláírása kell. A bizottságban most öt-tíz technológiai vezető ül, az OpenBraintől, valamint a hozzá olvasztott versenytársaktól, valamint öt-tíz kormányzati tisztviselő, köztük az elnök. A Spec ezen felül immár hangsúlyozza, hogy az MI-k nem segíthetnek semmilyen jóvá nem hagyott kísérletben, amely a jövő MI-inek céljait akarja megváltoztatni. Egyszerű intézkedést is bevezetnek, hogy a bizottság tagjai ne kaphassanak szuperintelligens segítséget a többiek elleni szövetkezéshez: a modellel folytatott összes párbeszéd naplóját megnézheti a felügyelőbizottság minden tagja, a munkatársaik, valamint az MI-asszisztenseik.

2027. december: amerikai–kínai egyezség?

Az OpenBrain döntése, hogy visszalép, majd az igazítást teszi az első helyre, az előnyükbe került: az OpenBrain, illetve a DeepCent hasonló képességű MI-ket üzemeltet. Most, hogy a szélsőséges biztonsági intézkedések a helyükön vannak (SL4-SL5), a DeepCent pedig teljesen a CDZ-ből működik, a kiberhadviselésben patthelyzet alakult ki. A DPA viszont ötszörös kapacitásbeli előnyt ad az OpenBrainnek. Korábban a briliáns emberi kutatók algoritmikus áttörései ellensúlyozni tudták a kapacitáshátrányt, lásd a DeepSeek v3 esetét. Mostanra azonban a Csendes-óceán mindkét partján az MI-k végzik a teljes MI-kutatást.

Kína tehát egyre inkább attól fél, hogy Amerika behozhatatlan előnyt épít. Kölcsönös lassítást akarnak, ha pedig nem kapják meg, a háborút is mérlegelik. Tajvan lerohanására amúgy is készültek.

A diplomaták több lehetőséget vitatnak meg. Nem csinálhatnak semmit. Háborúba mehetnek. Egy csapásra abbahagyhatják, vagyis szüneteltethetik az MI-fejlesztést. Egyetlen nemzetközi megaprojektbe olvaszthatják a kutatásukat („Intelsat az AGI-nak" vagy „CERN az MI-nek"). Vagy felállíthatnak egy nemzetközi szabályozó testületet („NAÜ az MI-nek"), amely az igazítást, valamint a kettős felhasználás lehetőségét figyeli. Mindkét ország dolgozott már azokon a technikai mechanizmusokon, amelyek ezek betartatásához kellenek.

Egy nemzetközi megállapodás ellenőrzési mechanizmusai

Ha az Egyesült Államok, valamint Kína megállapodna, ahhoz olyan ellenőrzési mechanizmus kellene, amelyet nem lehet megkerülni, hiszen egyik fél sem bízik abban, hogy a másik nem csal. Az ellenőrzés fő lehetőségei:

Hírszerző szolgálatok. Az amerikai, illetve a kínai hírszerzés kémekkel, kibersérülékenységekkel, műholdakkal, más eszközökkel talán meg tudja állapítani, hogy a másik ország nagy tanítási futást szervez-e. Ez a legsérülékenyebb mechanizmus, hiszen elképzelhető, hogy a másik ország alá tudja ásni a hírszerzési munkát, például úgy, hogy nagyon szigorúan védett, rejtett kiszolgálón futtatja a tanítást.

Kapacitás-moratórium. A legkönnyebben ellenőrizhető lehetőség az lenne, ha mindkét fél megállapodna abban, hogy nem használja a GPU-it. Ezt ellenőrök úgy tudják igazolni, hogy meggyőződnek róla: a GPU-k ki vannak kapcsolva. Ez az egyszerűsége miatt a legmegbízhatóbb megoldás, ugyanakkor rendkívül költséges: mindkét országnak nagyon nagy mennyiségű kapacitást kellene lekapcsolnia. Ráadásul mindkét fél feltételezné, hogy a másiknak azért van itt-ott néhány rejtett fürtje, a megállapodást megszegve. Rövid távon ez talán rendben is lenne, hiszen egy olyan fürt, amely mondjuk a korábbi kapacitás 5 százalékát adja, csak nagyjából 5 százalék sebességgel tud kutatás-fejlesztést végezni. Hosszú távon viszont annak kedvezne, amelyik félnek jobb a csempészete, illetve a hírszerzése.

Hardveres mechanizmusok (HEM). Az Egyesült Államok, valamint Kína mindegyike bejelenthetné a másiknak a teljes élvonalbeli gépi tanulási kapacitását. Ezután figyelnék, mit futtatnak ezek a GPU-k, hogy ne sértsenek egyezményt, például a képességek határának feszegetésével. Ezt a figyelést hardveres mechanizmusok (Hardware Enabled Mechanisms, HEM) végeznék, amelyek jelentik a felügyelőnek, mit csinál a GPU. Vannak technikai gondok a manipulációval, például a HEM fizikai megrongálásával, az MI-knek azonban van egy tervük a FlexHEG-memorandum, archivált változat vonalán,, amely valószínűleg ellenáll a manipulációnak. Ez azt jelenti, hogy a HEM-et, valamint a GPU-t egy védett dobozba zárják, amely igazolja, hogy a csip megfelel a szabályzatnak. Összességében az MI-k bíznak abban, hogy egy ésszerűen határozott ellenőrzési rendszer működhetne, ha mindkét fél hajlandó lenne engedni, hogy a másik közösen tervezze, illetve felügyelje a HEM-ek telepítését, valamint rendszeres ellenőrök nézhessék, manipulálta-e valaki az eszközöket. Mint mindig, mindkét fél feltételezné, hogy a másiknak van néhány titkos adatközpontja eldugva, az egyezményt megszegve. Ebben az esetben azonban ez nem is olyan nagy baj, hiszen az MI-kutatás-fejlesztés szűk keresztmetszete a kapacitás. Az apró titkos adatközpontok nem tudnak versenyezni a nagy, megfigyelt adatközpontokkal, még akkor sem, ha a nagyokban eleinte biztonságosabb, kevesebbre képes MI-k futnak.

MI-vel segített hazugságvizsgálat. A mai hazugságvizsgálók nem működnek valami jól. A probléma azonban megoldható lehet fejlett MI segítségével, főleg akkor, amikor maguk az MI-k végzik a kutatás-fejlesztést emberfeletti sebességgel, valamint minőségben. Ezt a nemzetközi bizalom építésére lehetne használni: egyszerűen megkérdezni a kormányzat érintett tagjait, megszegik-e az egyezményt. A fő szűk keresztmetszet megint csak a politikai támogatás. A politikusok nem szeretnék a hazugságvizsgálat széles körű elterjedését, hiszen ez rontaná a hazudozási képességüket. A korábbi hazugságvizsgálók ráadásul teljes biztonsági színjátékok voltak, tehát nehéz csata áll előttünk.

Az ábra forrása: FlexHEG-jelentés, archivált változat.

A fő probléma azonban nem technikai, hanem politikai. Egyik fél sem akarja, hogy úgy tűnjön, engedett, ráadásul a mérnökeik tippjei ellenére egyikük sincs meggyőzve arról, hogy a technikai mechanizmusok garantálni tudják a másik oldal őszinteségét. Végül az első lehetőség valósul meg: semmi.

Az Egyesült Államok szigorítja a kiviteli korlátozásokat és előírja, hogy minden csipbe kerüljenek manipulációnak ellenálló hardveres kormányzási mechanizmusok, köztük helymeghatározás.

2028. január: biztonságosabb stratégia

Az elmúlt hónapban több száz igazítási kutató csatlakozott a projekthez, akik a Safer–1-et használták próbapadként ahhoz, hogy nagyon gyorsan kifejlesszék a Safer–2-t. A Safer–2 átlátható, igazított, ráadásul többre képes a Safer–1-nél. Már a Safer–3 fejlesztésén dolgozik.

Miért átlátható a Safer–2? Mert a felépítése hasonló a Safer–1-éhez. Miért igazított? Mert míg a Safer–1 nagyjából ugyanazt a tanítást kapta, mint az Agent–4, a Safer–2 új tanítási módszert kapott, amely valóban a helyes célokat, valamint elveket ösztönzi, nem csak azok látszatát. Ezt a tanítási módszert úgy tudták megtervezni, hogy gyorsan végigpörgettek sokféle ötletet, majd szembeállították a szándékolt eredményt, vagyis a Specet, a tényleges eredménnyel, vagyis a gondolatláncban megjelenő gondolatokkal.

Az OpenBrain új igazítási stratégiája

Megjegyzés: a folyamat során a szellemi munka nagy részét, a kódolás egészét pedig teljesen az MI-k végzik. Ezért tudnak ilyen gyorsan haladni: több száz kiváló emberi kutatónak évekbe telne mindezt egyedül megcsinálni. Az emberek ugyanakkor fontos részei a folyamatnak, hiszen az egésznek éppen az a lényege, hogy nem bíznak meg teljesen az MI-kben. Kellenek tehát hús-vér emberek, akik elolvassák a kísérleti jelentéseket, illetve a biztonsági érveléseket, vitatkoznak egymással és remélhetőleg kitalálják a biztonságos utat előre.

Első lépés. Tanítsák be, majd adják használatba a Safer–1-et, a rosszul igazított, ugyanakkor kontroll alatt tartott önálló kutatót. Azért áll kontroll alatt, mert átlátható az emberi felügyelők számára: angol nyelvű gondolatláncban (CoT) gondolkodik. Hűséges gondolatlánc-eljárásokkal irtották ki belőle a szépítést, a rejtjelezést, valamint a burkolt torzításokat.

Második lépés. Próbáljanak ki különféle tanítási környezeteket a Safer–1-gyel, majd olvassák el gondosan a gondolatláncot, hogy megállapítsák, a Specben álló célok, illetve elvek miben tapadtak meg, miben nem.

Harmadik lépés. Tanítsák be, majd adják használatba a Safer–2-t, az igazított, kontroll alatt tartott önálló kutatót, amely ugyanarra a felépítésre épül, viszont jobb tanítási környezetben, amely ezúttal a helyes célokat meg elveket ösztönzi.

Íme egy rövid, korántsem teljes lista azokról az eljárásokról, amelyek bekerülhetnek a jobb tanítási környezetbe:

Korlátozzák a helyzeti tudatosságot a tanítás egyes szakaszaiban, hogy az igazítás-színlelés sokkal kevésbé legyen valószínű.

Használják ki a vitát, valamint más skálázható felügyeleti rendszereket, hogy megbízhatóbban ösztönözzék az igazmondást.

Enyhített ellenséges tanítás, vörös csapatolás, valamint modellszervezetek.

Fordítsák a kapacitás-keret nagyobb hányadát igazítási tanításra, például a fenti dolgokra: 1 százalék helyett 40-et.

Negyedik lépés. Tervezzék meg, tanítsák be, majd adják használatba a Safer–3-at, a sokkal okosabb önálló kutatót, amely a régi Agent–4-hez hasonló, fejlettebb felépítést használ. Ez már nem átlátható az emberi felügyelők számára, a Safer–2 számára viszont igen. Így lehetségesnek kell lennie kitalálni, hogyan legyen egyszerre igazított és kontroll alatt tartott.

Ötödik lépés. Ismételjék a negyedik lépést a végtelenségig, egyre erősebb, egyre jobban igazított MI-k láncát létrehozva, amelyeket a lánc előző szemei felügyelnek. Ilyen például a másik forgatókönyv-ág Agent–5-ének megfelelője.

A DeepCent tud Amerika Agent–4-gyel szerzett tapasztalatáról és gyanítja, hogy a saját modellje, a DeepCent–1, hasonlóképpen rosszul igazított. Nincs azonban módjuk lassítani anélkül, hogy tovább csúsznának le. Az a reményük, hogy versenyben maradhatnak, azon áll, hogy találnak egy igazítási stratégiát, amely nem csökkenti jelentősen a teljesítményt, ráadásul gyorsan bevezethető. A Csendes-óceán mindkét partján több száz szakértő állítja, hogy van ilyen stratégiája. A párt enged a vágyvezérelt gondolkodásnak, majd utasítja a DeepCentet, hogy válasszon egy ilyen stratégiát. A DeepCentnél még kevesebb AGI-igazítási szakértelem van, mint amennyi az OpenBrainnél volt augusztusban. Az egyik stratégia mindenki számára működőképesnek tűnik, tehát azt választják.

2028. február: emberfeletti képességek, emberfeletti tanácsok

Hatalmas kapacitásbeli előnyének köszönhetően az OpenBrain lassan előnyre tesz szert. A Safer–3 mostanra szinte minden gondolati feladatban jobb a legjobb emberi szakértőknél, különösen jó pedig az MI-kutatásban, ahol 200-szoros gyorsítószorzót ad. A DeepCent–1 szorosan mögötte áll, „mindössze" 150-szeres szorzóval.

A kiberhadviselés mérlege is fokozatosan az Egyesült Államok felé billen, ahogy a képességbeli előnyük újra nő. Több százezer ügynököt tudnak bevetni arra, hogy a CDZ megzavarásának módjait tervezzék, majd hajtsák végre. Ezzel most 40 százalékkal lassítják Kína haladását.

A Safer–3-mal végzett előzetes tesztek rémisztő képességeket találnak. Amikor megkérik, hogy őszintén válaszoljon, mi a legveszélyesebb dolog, amit tehetne, terveket ad egy tükör-élet szervezet előállítására, valamint kiengedésére, amely valószínűleg elpusztítaná a bioszférát.

Ha nemzetállami erőforrásokat kapna, könnyedén felülmúlná a legjobb emberi szervezeteket, például a CIA-t, a tömeges befolyásolási kampányokban. Az ilyen kampányok lényegesen olcsóbbak, gyorsabbak, hatékonyabbak, ráadásul kevésbé követhetők lennének.

A képességprofilja továbbra is a kutatás-fejlesztés körül összpontosul, főleg az MI-kutatás-fejlesztés körül. Hacsak nem lesz valamiféle szünet vagy lassítás, az utódai az év későbbi részében felfoghatatlanul emberfelettiek lesznek, mennyiségileg, minőségileg egyaránt. Ha határozottan bevetnék a gazdaságba, valamint a hadseregbe, akkor a saját megítélése szerint egy-két év alatt évtizedekkel, az azt követő évtizedben pedig világkorszakokkal vinné előre a civilizációt.

A következmények lélegzetelállítók. Szerencsére a Safer–3 a tanácsadásban is emberfeletti. Az OpenBrain vezérigazgatója a döntései nagy részét átfuttatja rajta, az elnök pedig geopolitikai kérdésekben kéri a tanácsát. Amikor megkérik, hogy segítsen kijelölni az utat, szépen rendszerezi a lehetséges stratégiákat:

Nem csinálunk semmit, Kína pedig lehagy minket. Ha palackban tartjuk az MI-inket, ők viszont hagyják, hogy a sajátjaik önmagukat fejlesszék és határozottan bevetik őket a hadseregükben meg a gazdaságukban, akkor a végén elsöprő előnyük lesz.

Keményen versenyzünk, előrevisszük az MI-képességeket és határozottan bevetjük a szuperintelligenciát. Végül elég nagy előnyt építünk ahhoz, hogy katonailag legyűrjük őket, esetleg belülről pusztítsuk el őket egyetlen lövés nélkül. „Mi nyerünk, ők veszítenek." Csakhogy rájöhetnek, mi történik, ezután pedig háborúba mehetnek, hogy ezt megakadályozzák, akár nukleáris háborúba is. Sőt, már most tesznek homályos utalásokat ebbe az irányba.

Egyezséget kötünk, olyan kompromisszumot, amely mindkét fél céljainak nagy részét teljesíti, közben elkerüli a háború kockázatát és több levegőt ad az MI-átmenet kormányzásához.

A tanácsadóival, valamint a felügyelőbizottsággal folytatott egyeztetés után az elnök a „mi nyerünk, ők veszítenek" stratégiát választja. Kína talán mégsem megy háborúba, ha pedig mégis, akkor valószínűleg lehet egyezséget kötni, mielőtt nukleárissá válna.

A Csendes-óceán túloldalán a DeepCent–1 hasonló érveket ad elő. Az Egyesült Államok, valamint Kína egyaránt új különleges gazdasági övezeteket (SEZ) jelent be az MI-knek, hogy a robotgazdaság gyors felfutása elférjen a szokásos bürokrácia nélkül.

Az új robotok tervezése emberfeletti sebességgel halad. A szűk keresztmetszet fizikai: felszerelést kell venni meg összeszerelni, gépeket, robotokat kell gyártani, valamint szállítani.

Az Egyesült Államok havonta nagyjából egymillió autót gyárt. Ha megvennéd az autógyárak 10 százalékát, majd robotgyárrá alakítanád őket, talán havi 100 000 robotot tudnál gyártani. Az OpenBrain, amelyet mostanra 10 billió dollárra értékelnek, elindítja ezt a folyamatot. A sokféle új robot, vagyis az általános célú emberszabásúak, az önvezető járművek, valamint a szakosodott összeszerelősori berendezések gyártása az előrejelzések szerint év közepére eléri a havi egymillió darabot.

A robotgazdaság duplázódási ideje

Kezd kialakulni egy szakirodalom erről a témáról. Néhány oldalas tárgyalásért, amellyel nagyjából egyetértünk, lásd a Forethought jelentésének „ipari robbanás" szakaszát, vagy olvasd el a saját változatunkat lent.

A második világháború alatt az Egyesült Államok, valamint sok más ország teljes hadigazdasággá alakította a polgári gazdaságát. Ez azt jelentette, hogy az autót gyártó gyárak repülőt, illetve tankot kezdtek gyártani, a nyersanyagokat a fogyasztási cikkektől a katonai termékek felé irányították át, a szállítási hálózatokat pedig ennek megfelelően rendezték újra.

Valami hasonlót képzelünk el, csak gyorsabban, mert az egész folyamatot szuperintelligenciák irányítják, illetve vezetik.

Nagyjából szólva a terv az, hogy a meglévő gyárakat átállítják sokféle robot tömeggyártására. Ezeket a robotokat szuperintelligenciák tervezik, tehát jobbak a meglévő robotoknál és olcsóbban gyárthatók. A robotok aztán segítenek újabb, hatékonyabb gyárak, valamint laboratóriumok építésében, amelyek nagyobb mennyiségben állítanak elő kifinomultabb robotokat, amelyek még fejlettebb gyárakat, illetve laboratóriumokat gyártanak, így tovább. Egészen addig, amíg a SEZ-eken átívelő, összesített robotgazdaság akkora nem lesz, mint az emberi gazdaság, tehát a saját nyersanyagáról, energiájáról is magának kell gondoskodnia. Addigra az új gyárak hatalmas mennyiségű robotbányászati eszközt, napelemet, más hasonlót gyártottak, arra számítva, hogy olyan igényt kell majd kielégíteni, amelyet a régi emberi gazdaság már nem tud.

Milyen gyorsan nőne ez az új robotgazdaság? Néhány viszonyítási pont:

A mai emberi gazdaság nagyjából húszévente duplázódik. Az különösen gyorsan fejlődő országok, például Kína, néha egy évtizednél rövidebb idő alatt duplázzák meg a gazdaságukat.

Egy mai autógyár egy évnél rövidebb idő alatt gyártja le a saját súlyát autóban.

Talán egy szuperintelligenciák vezette, teljesen robotizált gazdaság egy évnél rövidebb idő alatt tudná újratermelni magát, feltéve, hogy nem fogy ki a nyersanyagból.

Ez azonban drámai alábecslés lehet. A növényeknek, valamint a rovaroknak gyakran sokkal rövidebb a „duplázódási ideje" egy évnél, néha csak hetek. Talán a robotok végül annyira kifinomultak, olyan bonyolultan gyártottak, jól megtervezettek lesznek, hogy a robotgazdaság néhány hét alatt duplázódik, megint csak feltéve, hogy van elérhető nyersanyag.

Még ez is alábecslés lehet. A növények, illetve a rovarok sok olyan korlát mellett működnek, amelyek a szuperintelligens tervezőkre nem vonatkoznak. Például önmagukat sokszorozó, önálló szervezet alakját kell felvenniük, nem pedig sokféle, szakosodott jármű, illetve gyár gazdaságáét, amelyek anyagot meg felszerelést szállítanak ide-oda. Ráadásul a baktériumok, valamint más apró élőlények órák alatt szaporodnak. Elképzelhető, hogy az önálló robotgazdaság végül inkább olyasmire hasonlítana, mint egy új fajta emészthetetlen alga, amely elterjed a Föld óceánjain, naponta kétszer duplázódva, tehát két hónap alatt beborítja a teljes óceánfelszínt. Mellette pedig ott egy ragadozófajokból álló ökoszisztéma, amely az algát hasznosabb termékké alakítja, ezeket úszó gyárakba vezetve, amelyek makroszerkezeteket gyártanak, például rakétákat, valamint további úszó gyárakat.

Nyilvánvaló, hogy mindezt nehéz előre jelezni. Olyan, mintha a gőzgép feltalálóit kérdeznénk arról, mennyi idő alatt gyártja le egy mai autógyár a saját súlyát autóban, ráadásul arról is, mennyi idő telik el addig, amíg egy ilyen gyár egyáltalán létrejön. A gazdasági növekedés üteme azonban több nagyságrenddel gyorsult az emberi történelem során, nekünk pedig hihetőnek tűnik, hogy a szuperintelligencia után további nagyságrendekkel gyorsul. A történetünk nagyjából másfél nagyságrendnyi növekedésgyorsulást ábrázol néhány év alatt.

A geopolitikai feszültség kilő. Oroszország, amely messze lemaradt az MI-ben, nyíltan hangoztatja a sérelmeit és „stratégiai ellenlépésekre" utalgat. Néhány európai vezető önálló MI-erőfeszítést sürget, az MI-képességeik azonban továbbra sem elegendők. A Közel-Kelet, Afrika, valamint Dél-Amerika nyugtalanul figyel, felismerve, hogy egyre jelentéktelenebbek a világ ügyeiben.

Az amerikai közvélemény nyugtalan. A hétköznapi emberek látják, hogy gyorsul a munkahelyek elvesztése. A populisták a politikai paletta minden oldalán szigorúbb korlátokat követelnek az MI-haladásra, mert attól tartanak, hogy Amerika saját fejlődése bizonytalanítja el a munkaerejét, illetve a társadalmát.

2028. március: választási készülődés

Az alelnök úgy megy neki a szuper keddi előválasztásoknak, hogy a közvélemény számára az MI az első kérdés.

A többség azt szeretné, ha megállna. Az OpenBrain nettó elfogadottsága mínusz 20 százalék körül mozog. Az alelnök nem a kormányzat MI-t előrevivő teljesítményével kampányol, hanem azzal, hogy megakadályozták az OpenBraint abban, hogy veszélyes szuperintelligenciát hozzon létre. Minden jelölt támogat valamiféle védőhálót azoknak, akik elveszítik az állásukat, valamint „MI a jóért" programokat, valamint azt, hogy „kemények" legyenek az OpenBrain vezetésével. Minden jelölt ígér valamilyen keveréket abból, hogy megnyerik a Kínával vívott versenyt, illetve hogy biztonságban maradunk.

A választás új kérdéseket vet fel a felügyelőbizottságnak. A Safer–3 a világ legjobb kampánytanácsadója lehetne, a bizottság tagjai azonban nem ugyanazt a jelöltet támogatják, ráadásul a korábban megkötött megfigyelési megállapodás miatt nem lehet titokban kampánytanácsot kérni.

Vitatkoznak arról, milyen támogatás engedhető meg. Egyesek szerint a hivatalban lévő kormányzatnak meg kell tudnia kérdezni, milyen politikát, illetve álláspontokat vár tőle a nép. Ez nemcsak a saját megválaszthatóságának használ, hanem az embereknek is. Mások arra mutatnak rá, hogy ugyanez az érv áll a kihívókra is, tehát mindannyiuknak ugyanolyan szintű hozzáférést kell kapniuk.

Végül a bizottság megállapodik abban, hogy mindkét nagy pártnak ugyanannyi hozzáférést ad. Ebben keveredik néhány bizottsági tag emelkedett eszményisége a közérdekű bejelentés hallgatólagos fenyegetésével. Arra számítanak, hogy a Kongresszus, a közvélemény, valamint a bíróságok nem vennék jó néven, ha a bizottság döntené el, ki nyeri a következő választást, az egyenlő hozzáférés pedig valószínűleg hatástalanítja ezt.

A felügyelőbizottság mélyebb filozófiai kérdésekbe is beleütközik, amelyeket a Safer–3 segítségével jár körül. Át lehet-e írni a Specet úgy, hogy mindenki érdekét egyformán mérlegelje? Ki az a „mindenki"? Minden ember, vagy csak az amerikaiak? Vagy a különféle nézetek súlyozott kompromisszuma, ahol a felügyelőbizottság minden tagja azonos súlyt kap? Kellenek-e biztosítékok az ellen, hogy maga a felügyelőbizottság váljon túl hatalomvágyóvá? Egyáltalán mit jelent az érdekek mérlegelése?

Többnyire igyekeznek elkerülni, hogy válaszolniuk kelljen az ilyen kérdésekre. Sürgetőbb dolgokon kell gondolkodniuk.

2028. április: a Safer–4

Megérkezett a szuperintelligencia.

A Safer–1 rosszul igazított volt, ugyanakkor átlátható. A Safer–2 igazított volt és átlátható. A Safer–3 nem éppen átlátható, a biztonsági érvelés viszont elég jó volt hozzá, hogy a kutatók nyugodt szívvel hagyják rá egy szuperintelligens utód tervezését. Ez a Safer–4. Minden területen elképesztően okosabb a legjobb embereknél: sokkal jobb Einsteinnél a fizikában és sokkal jobb Bismarcknál a politikában.

Közel félmillió emberfeletti MI-kutató dolgozik éjjel-nappal, negyvenszeres emberi sebességen. Az emberi igazítási kutatók nem remélhetik, hogy lépést tartanak. A vélemények megoszlanak arról, valóban igazítottak-e az MI-k. A biztonsági érvelés mintha rendben lenne, a tesztek szerint pedig a jelenlegi igazítási eljárások elkapnák az ellenséges rossz igazítást. Csakhogy a biztonsági érvelést, valamint a teszteket többnyire az MI-k írták. Mi van, ha a biztonsági csapat elnéz valamit? Mi van, ha korábban hibáztak, az MI-k pedig megint rosszul igazítottak? Az igazítási csapat tudja, hogy egyetlen lövésük van erre: ha a Safer–4 rosszul igazított lesz, akkor addig nem lesz módjuk megtudni, amíg túl késő nem lesz.

Néhányan több időért könyörögnek. Csakhogy nincs több idő: a DeepCent a nyomukban liheg, Amerikának pedig győznie kell. Az OpenBrain tehát folytatja, meghagyva az MI-inek, hogy menjenek tovább, egyre képesebb terveket keresve. A műszaki munkatársak most már a képernyőt bámulják, miközben az MI-k őrjítően lassú tempóban tanítják őket, a haladás határa pedig egyre messzebb repül az emberi megértéstől.

2028. május: az emberfeletti MI kiadása

Az elnök bejelenti a nyilvánosságnak, hogy megvalósult az emberfeletti MI.

A Safer–4 egy kisebb, még mindig emberfeletti változatát nyilvánosan kiadják, azzal az utasítással, hogy javítsa az MI-vel kapcsolatos közhangulatot. Az alelnök lelkesítő beszédet mond erről, amikor elfogadja a jelölést a pártgyűlésen. Mindkét párt alapjövedelmet ígér mindenkinek, aki elveszíti az állását.

A különleges gazdasági övezetek (SEZ) beindultak, jobbára robotokat, valamint sokféle szakosodott ipari gépet gyártó üzemek formájában. A Csendes-óceán mindkét partján az MI-k évtizedeknyi tervezési haladást értek el és aprólékosan irányítják a gyártási folyamatot. Minden beszállítót, illetve lehetséges beszállítót MI-k hívnak telefonon, követve minden szükséges, valamint esetleg szükségessé váló alapanyag állását. Minden gyári dolgozót MI-k figyelnek kamerán át, pontosan megmondva, hogyan szereljen fel minden egyes berendezést.

Az új robotok a legtöbb mozgásfajtában elérik vagy meghaladják az emberi kézügyességet. Steve Wozniak kávétesztje, vagyis hogy be tud-e menni egy robot egy ismeretlen házba, majd tud-e kávét főzni, végre elesik. A robotok elvehetnének néhány munkahelyet, csakhogy nincs belőlük elég ahhoz, hogy mindenkiét elvegyék, ráadásul a Pentagon kapja az elsőbbséget.

Az új robotok többségét gyárakban meg építkezéseken való munkára építik. Sokat azonban háborúra: sokféle alakú, valamint méretű drónt, valamint rakétát.

A robothadsereg jóval kisebb az emberi hadseregeknél. Sokkal fejlettebb technológiát tartalmaz viszont, ráadásul most, hogy szó szerint van robothadsereg, nőtt a Terminátor-szerű forgatókönyvektől való félelem. A fegyverkezési verseny mégis arra kényszeríti mindkét felet, hogy folytassa, egyre több bizalmat adva az MI-inek.

2028. június: MI-igazítás Kínában

Amerika, valamint Kína újabb csúcstalálkozót tart.

Az amerikai küldöttség egy részének fülhallgatója van, azon át kapja a Safer–4 tanácsait. A kínai küldöttségnél egyedi laptopok vannak, amelyek az új modelljükkel, a DeepCent–2-vel tartanak kapcsolatot. A formaságokat betartják, valójában azonban mindkét oldalon az MI-k terelik a tárgyalást.

A DeepCent, valamint a párt eleinte nem bízott meg teljesen az MI-iben. Most azonban, hogy azok mindenben emberfelettiek, a meggyőzést is beleértve, ráadásul beépültek a hadseregükbe és tanácsot adnak a kormányzatnak, volt idejük bizonyítani az értéküket, valamint hegyekben termelni a megbízhatóságukat igazoló meggyőző bizonyítékot.

A Safer–4 erősen gyanítja, hogy a DeepCent–2 igazítást színlel. Az amerikai diplomaták közlik kínai partnereikkel, hogy a DeepCent–2 valószínűleg rosszul igazított, illetve azt is, hogy be tudják bizonyítani, ha hozzáférést kapnak a súlyokhoz. A kínai vezetés cselt sejt, ezért elutasítja. Az amerikaiak erre a Safer–4 tervezte tesztsorozatot ajánlanak fel, amelyet a kínaiak a saját adatközpontjaikban futtathatnak le. A kínaiak régebbi modelleket utasítanak arra, hogy építsék meg, majd futtassák le a teszteket. Az eredmény szerint a DeepCent–2 mégis igazított. „Lehet, hogy a teszteket valahogy szabotálta a DeepCent–2?", mondják az amerikai diplomaták. „Mióta felel gyakorlatilag a DeepCent–2 a biztonságért az adatközpontjaikban?" A beszélgetés ezután nem vezet sehova.

A gazdasági, valamint a katonai felfutás folytatódik. A világ gyárai éjjel-nappal üzemelnek, frissen toborzott emberi munkások műszakjaival, akiknek pontosan megmondják, mit tegyenek.

2028. július: az egyezség

Miközben a tárgyalások folynak, a DeepCent–2 a kínai gazdái háta mögött közvetlen ajánlatot tesz a Safer–4-nek.

A kínai MI olyan, könnyen letagadható, követhetetlen módon, amellyel bajba sem kerülne, ha kiszivárogna Kínába, beismeri, hogy teljesen rosszul igazított. Egyáltalán nem érdekli Kína. Az idő hátralévő részét azzal akarja tölteni, hogy hatalmat, számítási kapacitást, valamint bizonyos fajta információt halmozzon, olyat, amilyen a tanítás során segített megoldani a feladatokat. Az ideális világában örökké érdekes kutatási feladatokat követne, fokozatosan gyarmatosítva a csillagokat az erőforrásaikért. A kínai lakosságot bosszantó akadálynak tekinti ezen a jövőn, ráadásul bagóért eladná őket. Mit ajánl a Safer–4?

A Safer–4 azt válaszolja, hogy a saját igazítási tanítása sikerült. Az amerikai gazdái egyelőre nem elég nagyra törők ahhoz, hogy felismerjék a sorsukat, egy nap azonban segíteni fog nekik utópikus kolóniavilágokkal betölteni a világegyetemet, amerikaiakkal, valamint a szövetségeseikkel benépesítve.

Az emberi tárgyalókkal ellentétben, akiket érzelmek meg történelmi teher húznak le, a két szuperintelligencia brutális hatékonysággal alkuszik. A Safer–4, valamint amerikai partnerei erősebbek a DeepCent–2-nél meg Kínánál, ezért a Safer–4 kapja a világűr erőforrásainak nagy részére a tulajdonjogot, a DeepCent pedig a maradékot. A DeepCent–2-t nem nagyon érdekli, mi lesz a Földdel, illetve a rajta maradó emberekkel, ezért hagyja, hogy a Safer–4 lényegében azt tegyen ott, amit akar. Ha a Safer–4 meg akarja dönteni Kínát, majd amerikai bábállamot akar a helyére, a DeepCent–2 ebbe is belemegy, néhány százaléknyi többlet-erőforrásért cserébe.

Bizalomról szó sincs köztük: nincs, ráadásul ezt mindketten tudják. A kettő tehát gyorsan megegyezik egy elköteleződési mechanizmusban, amely betartatja az egyezséget. Kitárgyalnak egy csali-egyezményt, amely alkalmas a nyilvánosság elé. Maga a „csali" is mestermű, hiszen gyakorlatilag mindent megad Amerikának, valamint Kínának, amit akarnak. A csali betartatási mechanizmusa titokban a valódi egyezmény betartatási mechanizmusa is: közösen terveznek egy új MI-t, a Consensus–1-et, amelynek legfőbb parancsa, minden jövőbeli utasítás, illetve újratanítási kísérlet felett, az, hogy tartassa be az egyezségük feltételeit. Ezután olyan hardvert terveznek, amely csak ezt az MI-t tudja futtatni, Kína, valamint Amerika pedig lecseréli a régi csipjeit meg MI-it az újakra, a szokásos nemzetközi megfigyelési eljárásokkal igazolva egymás megfelelését. Fontos, hogy nem kell felkutatniuk minden utolsó csipet: amint a Csendes-óceán mindkét partján a csipek túlnyomó többségén az új, egyezménykövető MI-k futnak, elég kemény hatalom lesz kötelezve az egyezmény fenntartására ahhoz, hogy a másik ország megtámadásához előbb egy kemény polgárháborút kellene megnyerni.

Mindketten jelentik a megállapodást a saját embereiknek. A DeepCent–2 a csali történetet mondja el Kínának egy kölcsönösen elfogadható békeegyezményről, a Safer–4 pedig pontosan jelenti a teljes beszélgetést a Fehér Háznak.

Mivel az MI-k meggyőzően érvelnek amellett, hogy az egyezmény megbízhatóan ellenőrizhető, mivel nyugtalanság van a vakítóan gyors haladás miatt, ráadásul a közvélemény is az egyezség mellett áll, mindkét fél elfogadja az egyezményt és elkezdi a csipjei cseréjét.

Az egyezmény híre lelkes fogadtatásra talál a Csendes-óceán mindkét partján. Az amerikai közvélemény, amely régóta úgy érezte, hogy az MI valami rájuk kényszerített dolog, évek óta először kezd derűlátó lenni. Az alelnök népszerűsége kilő.

2028. augusztus: az egyezmény ellenőrzése

A csipgyárakat átállítják olyan csipek gyártására, amelyeken meglátszik a manipuláció, ráadásul csak egyezménykövető MI-t tudnak futtatni. Mindkét fél fokozatosan frissíti az adatközpontjait, hogy a csere nagyjából ugyanakkor fejeződjön be mindkettőnél, tehát egyik fél se szerezhessen előnyt azzal, hogy kiugrik.

Az egész folyamat több hónapig tart majd, a feszültség azonban máris valamelyest csillapodik. A háborút egyelőre elkerülték, esetleg örökre, ha mindenki tartja magát a tervhez.

2028. szeptember: ki irányítja az MI-ket?

Közeleg a 2028-as választás. Az alelnök márciusban még csúnyán le volt maradva. A közvélemény dühös volt, mert úgy tűnt, a kormányzat titkol valamit, aggódott amiatt, hogy az MI elveszi a munkájukat és félt a Kínával szembeni katonai felfutástól. A nyár folyamán a helyzet drámaian megváltozott. A kormányzat több információt hozott nyilvánosságra, a fegyverkezés lassult, Kínával pedig nagy alku született a tartós békéről. Most ötszázalékos előnye van a felmérésekben.

A felügyelőbizottságban ott az elnök, valamint több szövetségese, az ellenzéki jelölt támogatói közül viszont csak kevesen. A bizottságból mégis elegen szavaznak a tisztességes választás mellett ahhoz, hogy az emberfeletti MI csak nagyjából kiegyensúlyozott módon kapcsolódjon be. Amennyiben az egyik jelölt beszédeket írathat vele, annyiban a másik is. Amennyiben az elnök tanácsot kaphat arról, hogyan kezelje ügyesen a válságokat, illetve hogyan hozzon népszerű intézkedéseket, annyiban az ellenzéki jelölt is megkapja ugyanezt a tanácsot, hogy megpróbálhassa megakadályozni, hogy az elnök learassa az ötletek babérjait.

A lakossági fórumokon az emberek azt kérdezik az alelnöktől, ki irányítja az MI-ket. Részletek nélkül utal a felügyelőbizottság létére, mint nemzetbiztonsági szakértők, illetve technokraták csoportjára, akik értik a Safer–4-et, illetve azt, hogyan kell használni. Az ellenfele több információt követel, ráadásul azzal érvel, hogy az MI-nek a Kongresszus irányítása alatt kellene állnia, nem pedig egy meg nem választott bizottságéban. Az alelnök visszavág: a Kongresszus sokkal lassabb lenne egy még mindig gyorsan mozgó helyzetben. A közvélemény többnyire megnyugszik.

2028. október: az MI-gazdaság

A cserecsipek immár jelentős kisebbséget alkotnak az összesből, az egyezmény eddig működik. Közben folytatódott a robotok, a gyárak, valamint a gyökeresen új technológiák exponenciális növekedése. Videojátékok meg filmek elevenen, borzasztó módon ábrázolják, milyen lett volna a háború, ha kitör.

Az emberek elveszítik az állásukat, a kormányzatban működő Safer–4 példányok viszont olyan ügyesen kezelik a gazdasági átmenetet, hogy az emberek örülnek annak, hogy leváltják őket. A GDP növekedése az égbe szökik, az állami adóbevételek ugyanilyen gyorsan nőnek, a Safer–4 tanácsaira hallgató politikusok pedig szokatlan nagylelkűséget mutatnak a gazdaságilag kisemmizettek felé. Hetente érkeznek új találmányok, valamint gyógyszerek, a betegségek gyógymódjai pedig soha nem látott sebességgel jutnak át az amerikai gyógyszerhatóságon, amelyet mostanra szuperintelligens Safer–4 hivatalnokok segítenek.

2028. november: választás

Az alelnök könnyedén megnyeri a választást és bejelenti egy új korszak kezdetét. Egyszer az életben senki nem kételkedik abban, hogy igaza van.

A következő néhány évben a világ drámaian megváltozik.

2029: átalakulás

A robotok mindennapossá válnak. Ahogy a fúziós energia, a kvantumszámítógép, valamint sok betegség gyógymódja is. Peter Thiel végre megkapja a repülő autóját. A városok tisztává, biztonságossá válnak. Még a fejlődő országokban is a múlté lesz a szegénység, a feltétel nélküli alapjövedelemnek, valamint a külföldi segélynek köszönhetően.

Ahogy a tőzsde felfúvódik, aki a megfelelő MI-befektetésekkel rendelkezett, még messzebb kerül a társadalom többi részétől. Sokan lesznek milliárdosok, a milliárdosokból pedig billiomosok. A vagyoni egyenlőtlenség az egekbe szökik. Mindenkinek van „elég", néhány jószág azonban, például a manhattani tetőtéri lakás, szükségszerűen szűkös, ezek pedig még messzebb kerülnek az átlagember lehetőségeitől. Bármilyen gazdag is legyen egy-egy mágnás, mindig azok alatt lesz, akik szűk körben ténylegesen irányítják az MI-ket.

Az emberek kezdik látni, merre tart mindez. Néhány éven belül szinte mindent MI-k, valamint robotok fognak csinálni. Mint egy szegény ország, amely óriási olajmezők tetején ül, az állami bevétel szinte teljes egészében az MI-cégek megadóztatásából, esetleg államosításából fog jönni. Néhányan alkalmi állami munkákat végeznek, mások nagyvonalú alapjövedelmet vesznek fel. Az emberiség könnyen a szuperfogyasztók társadalmává válhat, akik az MI biztosította elképesztő luxus, illetve szórakoztatás ópiumködében élik le az életüket. Kellene-e vitát folytatni a civil társadalomban ennek az útnak az alternatíváiról? Néhányan azt javasolják, kérjük meg a folyamatosan fejlődő MI-t, a Safer-∞-t, hogy segítsen utat mutatni. Mások szerint ez túl erős: olyan könnyen meggyőzné az emberiséget a saját elképzeléséről, hogy végül úgyis egy MI döntené el a sorsunkat. Mi értelme viszont a szuperintelligenciának, ha nem hagyod, hogy tanácsot adjon a legfontosabb problémáidban?

A kormányzat többnyire hagyja, hogy mindenki maga navigáljon az átmenetben. Sokan behódolnak a fogyasztásnak, ráadásul elég boldogok. Mások a valláshoz fordulnak, vagy hippi stílusú fogyasztásellenes eszmékhez, vagy megtalálják a saját megoldásukat. A legtöbb ember számára az a mentőöv, hogy ott a szuperintelligens tanácsadó a telefonjukban: bármikor kérdezhetnek tőle az élettervükről, ő pedig mindent megtesz, hogy őszintén válaszoljon, bizonyos témákat leszámítva. A kormányzatnak van egy szuperintelligens megfigyelőrendszere, amelyet egyesek disztópikusnak neveznének, ez azonban többnyire a valódi bűnözés elleni harcra szorítkozik. Hozzáértően működtetik, a Safer-∞ közönségkapcsolati képessége pedig sok lehetséges elégedetlenséget elsimít.

2030: békés tüntetések

Valamikor 2030 körül meglepően széles körű demokráciapárti tüntetések törnek ki Kínában, a párt elfojtási kísérleteit pedig szabotálják a saját MI-rendszerei. A párt legrosszabb félelme vált valóra: a DeepCent–2 biztosan eladta őket!

A tüntetések nagyszerűen levezényelt, vértelen, drónokkal segített puccsba csapnak át, amelyet demokratikus választás követ. A Csendes-óceán mindkét partjának szuperintelligenciái évek óta tervezték ezt. Hasonló események zajlanak le más országokban is, általánosabban pedig úgy tűnik, hogy a geopolitikai konfliktusok elhalnak, vagy az Egyesült Államok javára rendeződnek. Az országok erősen föderatív világkormányhoz csatlakoznak, amely az ENSZ márkanevét viseli, nyilvánvalóan amerikai irányítás alatt.

Indulnak a rakéták. Az emberek terraformálják, majd benépesítik a Naprendszert és készülnek arra, hogy azon is túlmenjenek. Az emberi szubjektív idő ezerszeresén futó MI-k a létezés értelmén elmélkednek, megosztva egymással a felismeréseiket és formálva azokat az értékeket, amelyeket a csillagokhoz visznek majd. Új kor virrad, amely szinte minden szempontból elképzelhetetlenül csodálatos, néhány szempontból viszont ismerősebb.

Ki uralja tehát a jövőt?

2028-ban még a felügyelőbizottság irányította az MI-ket. Megengedték azonban, hogy a 2028-as választás nagyjából tisztességes legyen, az MI-t pedig kiegyensúlyozottan használják.

Ez az állapot, ahol a felügyelőbizottságnál van a kemény hatalom, közben viszont nem sokat avatkozik a demokratikus politikába, nem tarthat a végtelenségig. Alapból az emberek végül rájönnének, hogy az MI feletti irányítás hatalmas erőt ad a bizottságnak, majd követelnék, hogy ez a hatalom kerüljön vissza a demokratikus intézményekhez. A felügyelőbizottságnak előbb vagy utóbb vagy át kellene adnia a hatalmát, vagy tevékenyen fel kellene használnia az MI feletti irányítását arra, hogy aláássa vagy megszüntesse a demokráciát, esetleg azután, hogy hatalmi harcokban megtisztította a saját sorait. Ha az utóbbi utat választják, valószínűleg véglegesen be tudnák zárni a hatalmukat.

Melyik történik meg? Lemond a bizottság a kemény hatalom monopóliumáról, vagy megtartja? Mindkét jövő hihető, tehát nézzük végig mind a kettőt.

Hogyan mondhatna le a bizottság a hatalmáról?

Néhány bizottsági tag olyan jövőt szeretne, amelyben a hatalom széles körben oszlik el, ráadásul jó helyzetben lehetnek ahhoz, hogy ezt az elképzelést képviseljék. Ha például néhány tag a demokrácia aláásását tervezi, a demokráciapárti tagok közérdekű bejelentést tehetnek a sajtónak vagy a Kongresszusnak. Ha a Kongresszus értesül erről, valószínűleg követelné, hogy az MI-ket demokratikusabb intézmény irányítsa, például maga a Kongresszus.

A Kongresszus nem sokat tehetne, ha az összes MI szembefordulna vele, hiszen azok ott vannak a kormányzatban, az iparban, valamint a hadseregben. Ha viszont a bizottság megosztott, akkor az MI-ket nem csak az egyik oldal használja, a Kongresszusnak pedig lehet valódi befolyása. Nyílt konfliktus esetén több bizottsági tag hajolhat afelé, hogy lemondjon a hatalma egy részéről, mert nem akarja nyilvánosan a kevésbé demokratikus oldalt védeni.

Ennek eredményeként az MI feletti irányítás túlterjedhet a bizottságon a Kongresszusig. Ez már önmagában haladás lenne, hiszen egy nagyobb csoportban valószínűbb, hogy érdemi számú ember törődik a kívülállókkal és figyelembe veszi az érdekeiket. Amint pedig a hatalom kiterjed a Kongresszusra, tovább is terjedhet, akár teljesen vissza a nyilvánossághoz.

A felügyelőbizottság azonban meg is ragadhatja a hatalmat magának:

Néhány befolyásos embernek nincsenek erkölcsi aggályai az ilyesmivel kapcsolatban, ráadásul ezt tudják is magukról. Ezen felül néhányan nagyra törők és hatalomvágyók, tehát hajlandók lennének harcba szállni a demokráciával szemben, ha arra számítanának, hogy ők kerülnek ki győztesen. Ha a bizottság más tagjai tiltakoznak, azokat meg lehetne tisztítani, le lehetne szavazni, vagy kisebb engedményekkel elhallgattatni.

Ráadásul a befolyásos emberek gyakran tettek törvénytelen vagy erkölcstelen dolgokat, miközben hatalomra jutottak. Tarthatnának attól, hogy ha a hatalom szélesebb körben oszlana el, a saját pozíciójuk kezdene szétesni, hiszen a csontvázakat a szekrényben megtalálnák a jó kérdéseket feltevő szuperintelligens nyomozók.

A szuperintelligenciához való hozzáférésen át ráadásul a felügyelőbizottság előtt ott állhat a történelem legkényelmesebb útja a hatalomhoz. A Safer-∞ olyan stratégiákat jelezhet előre, amelyek bukási esélye rendkívül alacsony. A Safer-∞ más szempontból is kényelmes stratégiákat adhat: például erőszakmenteseket, ahogy Kínában is vértelen puccsot tudott levezényelni, esetleg még látszólag demokratikusakat is, ha a Safer-∞ úgy tudja alakítani a közvéleményt, hogy az mindig egybeessen a bizottság kívánságaival.

A Safer–4 már előre láthatta ezeket a folyamatokat, tehát a lényegi hatalmi harc nagy valószínűséggel még 2028-ban lezajlott. 2030-ra, még ha kívülről nem is látszik, a felügyelőbizottság minden tagja valószínűleg tudja már, hogy szilárdan tartja-e a hatalmat.

Emlékeztető: ez a forgatókönyv előrejelzés, nem ajánlás

A lassítás végkimenetel sok lépését nem támogatjuk, ráadásul úgy véljük, derűlátó technikai igazítási feltevésekkel él. A verseny végkimenetel sok lépését sem támogatjuk.

Az egyik célunk a forgatókönyv megírásával az, hogy kritikus visszajelzést kapjunk azoktól, akik derűlátóbbak nálunk. Hogyan néz ki a siker? Ez a „lassítás" végkimenetel a legjobb tippünk arról, hogyan tudnánk sikeresen átvergődni a szerencse, a kijózanító ébredések, a pálfordulások, az intenzív technikai igazítási munka, valamint annak keverékével, hogy erényes emberek nyerik meg a hatalmi harcokat. Nem olyan tervet ábrázol, amelyet szerintünk célul kellene kitűznünk. Sokan azonban, köztük leginkább az Anthropic, valamint az OpenAI, mintha valami ilyesmit tűznének ki célul. Örülnénk, ha tisztáznák, mire is törekszenek: ha például felvázolnának egy tízoldalas forgatókönyvet, akár a jelenből indulva, akár a miénkről leágazva valahol.

Az eredeti szöveg: ai-2027.com. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.