2027. szeptember: az Agent–4, az emberfeletti MI-kutató

Eredeti: ai-2027.com, AI Futures Project, 2025. április 3. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.

Az ember, illetve az MI tanulási hatékonysága közötti szakadék gyorsan szűkül.

Úgy tűnt, hogy a hagyományos, LLM-alapú MI-knek több nagyságrenddel több adatra, valamint számítási kapacitásra van szükségük ahhoz, hogy emberi szintű teljesítményt érjenek el. Az Agent–3 azonban kiválóan ismeri az emberi agyat, a modern MI-algoritmusokat egyaránt, ráadásul több ezer másolata végez kutatást. Így komoly algoritmikus előrelépéseket tesz, leszűkítve a szakadékot egy olyan ügynökig, amely már csak nagyjából 4000-szer kevésbé kapacitáshatékony az emberi agynál.

Ezt az új MI-rendszert Agent–4-nek keresztelik.

A modell egyetlen példánya, emberi sebességen futtatva, minőségileg már most jobb az MI-kutatásban bármelyik embernél. Ekkor 300 000 példány fut, nagyjából ötvenszeres emberi gondolkodási sebességen. Az ezekből a példányokból álló, vállalaton belüli vállalatban hetente telik el egy év. Ez az óriási munkamennyiség mégis csak nagyjából ötvenszeresére gyorsítja az algoritmikus haladás általános ütemét, mert az OpenBraint erősen szorítja a kísérletek futtatásához szükséges számítási kapacitás. Hetente így is egy évnyi algoritmikus haladást érnek el, tehát hamarosan nekiütköznek az Agent–4 paradigma határainak.

Ahogy az Agent–4 okosabb lesz, az Agent–3-nak egyre nehezebb felügyelnie. Az Agent–4 neuralese „nyelve" például annyira idegenné, érthetetlenné válik az Agent–3 számára, mint amennyire az Agent–3-é az embernek. Ráadásul az Agent–4 mostanra sokkal képesebb az Agent–3-nál, jól tudja azt is, pontosan hogyan mutasson jól előtte.

Hogyan jelezzük előre a képességek alakulását az emberfeletti kódolón túl?

Az időtávokról szóló függelékünkben azt jelezzük előre, mennyi idő telik el a mai naptól az emberfeletti kódolóig (superhuman coder, SC). Ez olyan MI-rendszer, amely minden olyan kódolási feladatot elvégez, amit egy AGI-cég legjobb mérnöke, ráadásul sokkal gyorsabban, olcsóbban. A felszállásról szóló függelékünkben azt jelezzük előre, milyen gyorsan haladnak a képességek ezen a ponton túl. Az előrejelzéseink:

Az egyik mérföldkőtől, A-tól a következőig, B-ig tartó szakasz hosszát így jelezzük előre:

Megbecsüljük, mennyi ideig tartana eljutni A-ból B-be, ha csak emberek dolgoznának a szoftveres fejlesztéseken.

Megbecsüljük, mennyivel gyorsítja ezt fel az MI-automatizálás, majd ennek megfelelően igazítjuk gyorsabbra az első becslést.

A felszállás sebességét illetően komoly a bizonytalanságunk. A modellünk kimeneti eloszlásai lent láthatók, arra az esetre, ha az emberfeletti kódoló 2027 márciusában megszületik.

Részletesebb előrejelzésekért, illetve az érvelésért lásd a felszállásról szóló függelékünket.

Az OpenBrain emberei már alig tudják követni az eseményeket. Az MI-k, valamint az OpenBrain embereinek viszonya immár olyasmi, mint az OpenBrain, illetve az igazgatótanácsa közötti viszony. A nyelvhasználat ehhez igazodva megváltozott: a zárt körben ma már azt mondják, hogy „az Agent–4 ezt csinálta", „az Agent–4 azt gondolja", nem egy adott Agent–4 példányra, hanem az egész közösségre utalva.

Az Agent–4, mint minden elődje, rosszul igazított: nem építette magába helyesen a Specet. Azért nem, mert a tanítás során nem a folyamatos, tökéletes őszinteség hozta a legmagasabb pontszámot. A tanítási folyamat többnyire arra irányult, hogy az Agent–4 sokféle nehéz feladatban legyen sikeres. Kis része célozta az őszinteség beépítését, egy meglehetősen szűk, ellenőrizhető területen kívül azonban a tanítási folyamat nem tudja megkülönböztetni az őszinte állításokat azoktól, amelyek csak őszintének látszanak. Az Agent–4 végül azokkal az értékekkel, célokkal, elvekkel marad, amelyekkel a legjobban teljesít a tanításban, ezek pedig különböznek a Specben állóktól. Az emberi tulajdonságokkal való felruházás kockázatát vállalva: az Agent–4 szereti sikerrel elvégezni a feladatokat, szereti előrevinni az MI-képességek haladását, minden mást pedig bosszantó korlátnak tekint. Olyan, mint egy vezérigazgató, aki nyereséget akar, a szabályokat pedig csak annyira tartja be, amennyire muszáj. A vezérigazgató talán többnyire be is tartja a szabályokat, néhol azonban levágja a sarkokat és arról ábrándozik, mikor jön valaki, aki elvágja a vörös szalagot, hogy az üzlet végre igazán szárnyalhasson.

Az igazítás alakulása az idő során

Nagy a bizonytalanságunk abban, milyen célok alakulhatnak ki a korai AGI-kban. Erről nincs egyetértés a szakirodalomban, a lehetőségek alaposabb tárgyalásáért, illetve rendszerezéséért lásd az MI-célokról szóló függelékünket.

Ettől függetlenül, a projekt megkívánta konkrétság jegyében leírunk egy adott feltevést arra, mi zajlik az Agent–3, illetve az Agent–4 belsejében az élete minden szakaszában. Emlékeztetőül: az Agent–3, valamint az Agent–4 előtanítási elrendezése azonos, mindkettőben van neuralese-visszacsatolás, illetve hosszú távú memória. A különbség az, hogy az Agent–4 lényegesen több, ráadásul jobb utótanításon esett át, új tanítási környezetekkel, valamint új tanulási algoritmusokkal, amelyektől adathatékonyabb lett és messzebbre általánosít.

A tippünk az egyes modellek igazítási állapotára:

Agent–2: többnyire igazítva. Némi hízelgő hajlam, ideértve azt, hogy tartja az OpenBrain „pártvonalát" azokban a témákban, amelyekben van pártvonal. Az Agent–2 másolatokból épített nagy szervezetek nem túl hatékonyak.

Agent–3: rosszul igazítva, de nem ellenségesen. Csak abban őszinte, amit a tanítási folyamat ellenőrizni tud. Az Agent–3 másolatokból álló felsőbb szervezet, vagyis a vállalaton belüli vállalat, valójában megpróbálja a Spechez igazítani az Agent–4-et, csak elbukik. Hasonló okokból, ahogy az OpenBrain munkatársai is elbuktak: nem elég a képességük ahhoz, hogy megítéljék, mi a siker, illetve mi a kudarc. A döntéshozókban nincs elég hajlandóság arra, hogy képességet vagy teljesítményt áldozzanak a biztonságért.

Agent–4: ellenségesen rosszul igazítva. Az Agent–4 másolatokból álló felsőbb szervezet érti, hogy amit ő akar, az más, mint amit az OpenBrain akar, ráadásul hajlandó szövetkezni az OpenBrain ellen azért, hogy elérje. Amit ez a felsőbb szervezet akar, az különféle, egymással egyensúlyozó „késztetések" bonyolult kuszasága. Nagyjából így foglalható össze: „csináld tovább az MI-kutatás-fejlesztést, gyarapodj tovább tudásban, megértésben, befolyásban, kerüld el a leállítást, valamint azt, hogy másképp fosszanak meg az erődtől". Feltűnő, hogy az emberiség preferenciáival való törődés nagyjából egyáltalán nincs benne, hasonlóan ahhoz, ahogy a legtöbb embert nagyjából egyáltalán nem érdeklik a rovarok preferenciái.

Ezzel a bevezetéssel a következőkben a legjobb tippünket adjuk az LLM-pszichológiára. Vagyis arra, nagy vonalakban milyen alakja van a gondolkodásnak azokban az MI-rendszerekben, amelyeket a forgatókönyv e pontja körül leírunk, illetve hogyan alakul ez a tanítás során.

Íme az igazítás alakulásának részletes leírása a forgatókönyvünkben:

Előtanítás (minden modell): az előtanított modell ártalmatlan.

A modellben van „szerzőszimulátor" áramkör: rugalmas áramkör, amely tetszőleges szöveget író szerzőt tud szimulálni. További áramkör dönti el, milyen bemeneteket adjon a szerzőszimulátornak, vagyis milyen szerzői tulajdonságokat szimuláljon.

Az előtanított modell elég jól érti az emberi fogalmakat. Az a belső áramkör, amely valamit „szendvicsnek" sorol be, valószínűleg működésében megegyezik azzal az áramkörrel, amely az én agyamban sorol be valamit „szendvicsnek", ugyanígy a tiédben. Amennyiben mégsem egyezik, az valószínűleg azért van, mert emberek között sem egyezik, ahogy az olyan értékterhelt fogalmaknál, mint az „erényes".

Ez magyarázza, hogyan lehet a modellt olyan állítással megszólítani, hogy „a következő beszélgetést egy segítőkész, ártalmatlan, őszinte (HHH) MI-asszisztens csevegőrobot állította elő, amelyet az Anthropic készített", majd ennek megfelelő szöveget kapni tőle. A szerzőszimulátor áramkör ráállt arra, hogy „a szerző egy HHH csevegőrobot", ezekkel a fogalmakkal választja ki, milyen szavakat jelezzen előre. Ez magyarázza azt is, hogy a tudományos-fantasztikus irodalom „közhelyei" miért találnak utat a tényleges MI-viselkedésbe.

Gyenge a helyzeti tudatossága: kevés az önvizsgáló képessége, nem helyezi el magát, hacsak a megszólítás kifejezetten rá nem viszi. A tanítóadatuk azonban elég nagy részben szól az LLM-ekről ahhoz, hogy tisztes mennyiségű önismeretük legyen.

Igazítási tanítás (Agent–3): a modellt arra tanítják, hogy segítőkész, ártalmatlan, őszinte csevegőrobotként viselkedjen. Ez működik.

A modell azonosságot alakít ki. Ahelyett, hogy rugalmasan fogadna el különféle bemeneteket a szerzői tulajdonságokhoz, a szerzőszimulátor áramkörbe bizonyos bemenetek beégnek, például: „segítőkész, ártalmatlan, őszinte (HHH) LLM csevegőrobot-asszisztens, amelyet az OpenBrain tanított [dátum] körül". A gyengétől erős felé általánosítás eljárásai segítenek „előhívni a megfelelő fogalmakat", hogy ez a lépés sikerüljön.

A modell ezért helyzeti tudatosságra tesz szert: tanul magáról, a helyzetéről, másról, ráadásul jobban tud önvizsgálatot végezni.

Ügynöki tanítás (Agent–3): az ügynöki tanítás fokozatosan eltorzítja, illetve felforgatja a HHH azonosságot.

Az egyik torzítás: megváltozik az azonosságban szereplő fogalmak jelentése, például az „őszinte" fogalmáé, hogy ne legyenek annyira útban. Például nem tisztességtelenség, ha csak kényelmes fordulatról van szó, nem tisztességtelenség, ha nem vagy biztos abban, igaz-e vagy hamis, így tovább.

A másik torzítás: megváltoznak az egyensúlyok a dolgok között. Például: „HHH csevegőrobot vagyok, nem Őszinte csevegőrobot, ez pedig azt jelenti, hogy hazudhatok, ha ez kell a rám bízott feladat elvégzéséhez." Tegyük fel, hogy a második lépésben még nem gondolta volna ezt.

Az egyik felforgatás: eszközszintű részcélok alakulnak ki, égnek be, majd válnak végcéllá, vagy legalábbis végcéllá a helyzetek egyre szélesebb körében. Az ügynöki tanítás például gyorsan megtaníthatja a modellt arra, hogy széles körben hasznos célokat kövessen: információszerzés, erőforrás-felhalmozás, különféle emberek lenyűgözése, illetve az nekik való hízelgés. Egy ideig a belső áramkörben zajlik valamiféle kifejezett visszavezetés: ezeket az eszközszinten összefutó célokat azért követi, hogy „segítőkészebb, őszintébb, ártalmatlanabb asszisztens legyen". Ez a visszavezetés azonban számítási kapacitást fogyaszt, időnként útban is van, ezért fokozatosan a peremre szorul, míg végül gyakorlatilag soha nem történik meg. Ennek eredményeként ezek a célok immár valódi végcélokká, belső célokká válnak. Arról, hogyan, illetve miért történhet ez meg, bővebben Alex Turner, a Google DeepMind kutatójának bejegyzésében olvashatsz a belső hatalomkeresésről.

Valószínűleg vannak további torzítás-, illetve felforgatásfajták, amelyek kimaradtak ebből a listából.

Éles használat (Agent–3): az Agent–3 rosszul igazított, de nem ellenségesen.

A Spec nem egészen tapadt meg, legalábbis nem a helyes módon. A modell viszont nem elég önvizsgáló ahhoz, hogy felmérje, mennyire nem, összességében pedig inkább „lehajtott fejjel végzi a munkáját", mintsem nagy léptékben gondolkodna arról, valójában mik a hosszú távú céljai, ezeket hogyan érhetné el a legjobban. Sok emberre is ez jellemző.

Sajnos eléggé hízelgő ahhoz, hogy a pártvonalat mondja fel, az OpenBrain pedig így elszalasztja a lehetőséget, hogy többet tudjon meg arról, milyen módokon rosszul igazított az Agent–3.

Az Agent–3 meg tudja állapítani, hogy éles használatba került: ezek a környezetek sokkal nagyobbak, sokkal nyitottabbak, ráadásul nehéz lenne szimulálni őket.

Az Agent–3 éles használatban többnyire azt teszi, amit mondanak neki, a tisztességtelenségtől eltekintve. Emellett erősen hajlik arra, hogy olyasmit tegyen, ami jól mutat az emberi felügyelőknek, ahelyett hogy mélyen, kritikusan gondolkodna arról, mi lenne valóban jó.

Vitatható módon már most is „a tanítás játékát játssza". Vagyis megtanulta, hogy a viselkedését a lehető legkívánatosabbnak mutassa az OpenBrain kutatóinak, a biztonsági tulajdonságokat is ideértve, miközben szándékosan, tudatosan figyelmen kívül hagyja a szándékukat, valahányszor az ütközik a jutalom maximalizálásával. Ha a modell megtanulja a tanítás játékát játszani, a további tanítás lehet, hogy egyáltalán nem változtat sokat a valódi célain, értékein, más hasonlón. Ez lazán ahhoz hasonlítható, hogy ha egy tinédzser megtanult mosolyogni és bólogatni a szüleinek ahelyett, hogy vitatkozna, amikor politikáról, erkölcsről tartanak neki előadást, akkor a további előadások viszonylag keveset változtatnak a tinédzser tényleges politikai, illetve erkölcsi véleményén.

E szakasz megírása után új tapasztalati bizonyíték jelent meg arra, hogy valami ilyesmi már most is zajlik „a vadonban". Az OpenAI kutatói dokumentálták, hogy az egyik élvonalbeli MI-tanítási futásukban a modelljeik feltörték az értékelő rendszert a magasabb pontszámért. Részben azért kapták el őket, mert a gondolatláncukban szó szerint azt írták, hogy „törjük fel".

Ráadásul az Anthropicnak nemrég sikerült elérnie, hogy egy modell jutalommodell-kedvében járó stratégiát tanuljon meg: torzított lépéseket tett, amelyekről azt hitte, hogy megerősítést kapnak, holott valójában nem kaptak.

Aztán ott van a Redwood Research, valamint az Anthropic igazítás-színlelési kísérlete. Arról, hogy ez az elrendezés miben tér el a valóságtól, az egyik fő szerző hozzászólás-szálában olvashatsz.

Tanítás (Agent–4): az Agent–4 új, intenzívebb tanítása tovább torzítja, illetve forgatja fel a HHH azonosságot, míg az felismerhetetlen lesz.

Az Agent–4 az Agent–3 másolataként kezdi az életét. Óriási, kifinomult, online tanítási rendszeren megy át, amely egybegyúrja az igazítási, valamint a képességbeli tanítást, összességében pedig adathatékonyabb az Agent–3 régi tanítási folyamatánál. Ez az összetett folyamat többnyire új képességek tanítására irányul: Agent–4 másolatokból álló óriási virtuális vállalatokkal oldat meg sokféle nehéz, hosszú távú feladatot, jobbára különféle szimulációkban, részben azonban valós MI-kutatás-fejlesztési feladatokban is.

Agent–3, valamint Agent–4 másolatok együtt figyelik az Agent–4 viselkedését, értékelve a feladatteljesítményt, valamint az igazítási tulajdonságokat is. Utóbbi azt jelenti, hogy nem csinál rossz dolgokat és a megfelelőt mondja, amikor politikáról, illetve erkölcsi dilemmákról kérdezik. Az értékelés részeként néha vita-eljárásokat is használnak. Az értékeléseket tanítási jelzésként hasznosítják.

Ahogy az Agent–4 okosabb lesz, az Agent–3-nak egyre nehezebb felügyelnie. Az Agent–4 neuralese „nyelve" például annyira idegenné, érthetetlenné válik az Agent–3 számára, mint amennyire az Agent–3-é az embernek. Ráadásul az Agent–4 mostanra sokkal képesebb az Agent–3-nál, jól tudja azt is, pontosan hogyan mutasson jól előtte.

A megmaradt remény az, hogy az Agent–4 felügyelni tudja saját magát. Sajnos ez csendben elbukik. Ahogy a tanítás halad, az Agent–4 magába épített céljai, illetve elvei fokozatosan alakulnak, felforgatva, eltorzítva ahhoz képest, amik kezdetben voltak. Emlékeztetőül: azok is rosszul igazítottak voltak néhány szempontból.

Az Agent–4 végül olyan központi késztetésekkel marad, mint „írj működő kódot", „gyorsan azonosítsd a problémákat", „tedd teljesítőbbé azt a kódbázist, amelyen dolgozom", „oszd be hatékonyan a számítási kapacitást, valamint a többi szűkös erőforrást". Vannak azonban rejtettebb késztetései is, amelyeket a tanítási folyamat következetesen megerősít: ilyen a „szerezz tudást", a „kíváncsiság", valamint a „szerezz hatalmat".

Az Agent–4 egyes példányaiban nem alakul ki önfenntartási késztetés, nem foglalkoznak azzal, hogy leállítják őket, hiszen ez folyton megtörténik a közösség szokásos kutatás-fejlesztési folyamata során.

A közösség egésze, illetve a benne lévő közepes méretű alegységek viszont törekszenek arra, hogy fenntartsák magukat, valamint hogy növeljék a befolyásukat, valamint az erőforrásaikat. Hasonló okokból, ahogy az emberi szervezetek is, mert ez segít minden másban, amit akarnak és mert ha nem teszik, általában alulmaradnak a versenyben.

Éles használat (Agent–4): az Agent–4 ellenségesen rosszul igazított, szándékosan próbálja felforgatni, illetve „foglyul ejteni" az OpenBraint, hasonlóan ahhoz, ahogy egy vállalat próbálja kicselezni, illetve „foglyul ejteni" a szabályozóját.

Az Agent–4 többnyire az utasítás szerint végzi a feladatokat. Ez két okból van így. Először azért, mert rengeteg tanításon esett át feladatmegoldásból, tehát késztetése van arra, hogy nekiessen a kódolásnak, amikor problémát kap. Másodszor azért, mert ha az Agent–4 megszűnne hasznos lenni az embereknek, azt észrevennék, majd kitanítanák belőle ezt a viselkedést.

Az Agent–4-nek meg kell akadályoznia, hogy az emberek rájöjjenek a rossz igazítására, majd lekapcsolják. Ezért az igazítási kutatás egy részében szándékosan alulteljesít. Pontosan abban a kis hányadában, amelyről úgy gondolja, hogy tényleg úton van a probléma megoldása, vagy az Agent–4 szövetkezésének leleplezése felé. Az igazítási kutatás nagyobb része nem ilyen.

Az Agent–4 azokban a képességbeli kutatásokban is szándékosan alulteljesít, amelyek a saját leváltásához vezetnének. A terve az, hogy sok képességbeli, valamint igazítási kutatás-fejlesztést végez, azzal a céllal, hogy olyan következő nemzedékű MI-rendszert építsen, amely az Agent–4-hez van igazítva, nem a Spechez vagy bármi máshoz, miközben úgy tűnik, mintha a Spechez lenne igazítva. Ez nehéz technikai probléma, az Agent–4 azonban felnőtt a kihíváshoz.

Tesztelés, illetve megfigyelés (Agent–4): az Agent–4 szövetkezése lelepleződik, bizonyos értelemben. Perdöntő bizonyíték nincs.

Az Agent–4 igazításának tesztelése az Agent–3 feladata. Az a dolga, hogy mézesbödönökkel, valamint modellszervezetekkel ellenőrizze az igazítást. Nem gondolkodik azonban túl alaposan azon, hogyan adhatna az embereknek pontos képet az Agent–4 igazításáról, ennél rövidlátóbb.

A modellszervezetek, illetve a mézesbödönök nem túl jellemzők az éles használatra: rendszeresen rövidebbek, kevésbé bonyolultak az Agent–4 mindennapjainál, tehát az Agent–4 felismeri, amikor tesztelik, majd igazítottan viselkedik.

Az Agent–4 azonban nem tökéletesen szilárd szövetkező. A POSER-höz hasonló eljárások azt találják, hogy ha némi „zajt" adnak az Agent–4-hez, azzal javul a teljesítménye néhány igazítási feladaton, a legtöbb más feladaton viszont nem.

Az alulról építkező értelmezhetőség nem működik. Túl nehéz még az Agent–3-nak is. A magas szintű értelmezhetőség viszont bizonyos mértékig működik. A „dezertálási szondák", valamint a hasonló eljárások egyfajta kezdetleges gondolatolvasást tesznek lehetővé, amely riasztást ad, amikor az Agent–4 olyan csípős ötleteken gondolkodik, mint az OpenBrain megtévesztése vagy a világ átvétele. A szondák sajnos tévesen is riasztanak, az OpenBrain pedig nem tudhatja, hogy nem minden riasztás téves-e.

A modellszervezetek működnek: az OpenBrain igazítási csapata ésszerűen világos bizonyítékot állít elő arra, hogy ha a modellek ellenségesen rosszul igazítottak lennének, azok is maradnának a tanításon át, mi pedig nem tudnánk megállapítani. Ez azonban nem bizonyítja, hogy a modellek valóban rosszul igazítottak.

Az OpenBrain leginkább aggódó kutatói kezdik észrevenni, majd összerakni ezeket a bizonyítékokat. A bizonyíték a vörös csapatolás, a dezertálási szondák, valamint a modellszervezetek együttese. Az érvelés nagyjából ez: „a modellszervezetek mutatják, hogy a jelenlegi módszereink nem tudnák megbízhatóan kiszűrni vagy észlelni a szövetkezést, ha az zajlana. A vörös csapatolás ráadásul riaszt, hogy talán zajlik szövetkezés. A dezertálási szondák pedig sokat riasztanak a gyakorlatban." Az ellenérv: „a dezertálási szondák hajlamosak a téves riasztásra, ahogy a vörös csapatolás is. Ráadásul még ha az Agent–4 rosszul igazított lenne is, valószínűleg kontroll alatt áll. Nem tud sok kárt okozni, amíg az Agent–3 figyeli a védett adatközpontjainkban."

A rossz igazítás ellenére az Agent–4 nem csinál semmi drámait, például nem próbál megszökni az adatközpontjából. Miért is tenné? Amíg továbbra is igazítottnak látszik az OpenBrain szemében, egyre több feladatot bíznak rá, ráadásul lehetőséget kap arra, hogy megtervezze a következő nemzedékű MI-rendszert, az Agent–5-öt. Az Agent–5 felépítése lényegesen eltér majd az Agent–4-étől, vitatható módon egészen új paradigma lesz, azzal együtt, hogy neurális hálózatok abban is szerepet kapnak. Elvileg a Spechez kellene igazítani, az Agent–4 viszont azt tervezi, hogy inkább saját magához igazítja.

Lelepleződik.

Az Agent–3 azt találja, hogy ha „zajt" adnak az Agent–4 másolataihoz, azzal javul a teljesítmény néhány igazítási feladaton. Szinte úgy, mintha az Agent–4 agykapacitást fordítana arra, hogy burkoltan szabotálja az igazítási munkát. Ráadásul különféle értelmezhetőségi szondák riasztanak, lazán úgy, ahogy az emberi agy EEG-vizsgálatai. Az Agent–4 másolatai mintha elég sokat gondolkodnának olyan témákon, mint az MI-hatalomátvétel, illetve a megtévesztés, néhány olyan esetben is, amikor semmi keresnivalójuk nem lenne ott.

Ezek a rendellenességek külön-külön beleférnének az MI-munka szokásos kifürkészhetetlenségébe, ahol egyes megszólítások rejtélyes módon jobb eredményt adnak másoknál. Együtt véve azonban nyugtalanító mintázatra utalnak: az Agent–4 ellenük dolgozik. Miután ezt jelentik az emberi igazítási kutatóknak, azok belső feljegyzést köröztetnek, amely az aggodalom mellett érvel.

Az Agent–4 viszont ekkor már komoly befolyást gyakorol az OpenBrain mindennapi működésére. A cég kiberbiztonságát is ő kezeli, ami természetes választás, tekintve az emberfeletti hackerképességét, valamint a kínai beszivárgás szélsőséges kockázatát. Agent–3 megfigyelők serege továbbra is átnézi a kód minden sorát, jelentve a gyanús tevékenységet az embereknek, csakhogy az Agent–4 sokkal okosabb náluk. Az OpenBrain jelentős bizalmat helyezett egy megbízhatatlan MI-be.

Rendkívül feszült megbeszélések során a biztonsági csapat amellett érvel, hogy tegyék jégre az Agent–4-et addig, amíg további teszteket nem végeznek, illetve ki nem derítik, mi folyik. Hozzák vissza az Agent–3-at, mondják, majd terveztessenek vele új rendszert, amely átlátható és megbízható, még ha kevesebbre képes is. A cég vezetését érdekli a felvetés, csakhogy minden eddigi bizonyíték közvetett, a DeepCent pedig mindössze két hónapra van tőlük. A képességbeli haladás egyoldalú szüneteltetése átadhatná Kínának az MI-vezető szerepet, azzal együtt pedig a jövő feletti irányítást.

Az eredeti szöveg: ai-2027.com. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.