2027. április: az Agent–3 igazítása

Eredeti: ai-2027.com, AI Futures Project, 2025. április 3. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.

Az OpenBrain biztonsági csapata megpróbálja igazítani az Agent–3-at.

Mivel az Agent–3 belátható ideig házon belül marad, kevesebb hangsúly esik az emberi visszaélés elleni szokásos védelemre. A csapat ehelyett arra akar ügyelni, hogy ne alakuljanak ki benne rosszul igazított célok.

A kutatók nem tudják közvetlenül beállítani egyik MI-jük céljait sem. Sőt, a kutatók úgy vélik, hogy a „valódi célok" fogalma valószínűleg óriási leegyszerűsítés, náluk azonban nincs jobb elmélet, amellyel felválthatnák. Olyan végképp nincs, amelyet alaposan megvizsgáltak volna. Belül sem értenek egyet abban, hogy az MI-k emberi utasításokat próbálnak-e követni, megerősítést keresnek-e, vagy valami mást csinálnak, ellenőrizni pedig nem tudják. A különféle feltevések mellett, illetve ellen szóló bizonyítékok érdekesek, döntésre azonban nem visznek.

Az OpenBrainnek mindenesetre fontosabb dolgai is vannak. Az általános hozzáállás ez: „Komolyan vesszük ezeket az aggodalmakat, van egy csapatunk, amely vizsgálja őket. Az igazítási eljárásaink a gyakorlatban elég jól működnek, a bizonyítás terhe tehát azon van, aki fanyalog." Időnként észrevesznek problémás viselkedést, amelyet aztán befoltoznak, azt viszont nem lehet megmondani, hogy a folt az alapproblémát javította-e meg, vagy csak vakondütögetés volt.

Vegyük például az őszinteséget. Ahogy a modellek okosabbak lesznek, egyre jobbak abban is, hogy jutalomért becsapják az embert. A korábbi modellekhez hasonlóan az Agent–3 időnként kegyes hazugságokat mond, hogy hízelegjen a felhasználóknak és eltakarja a kudarc nyomait. Ebben viszont sokkal jobb lett. Néha ugyanazokat a statisztikai trükköket veti be, mint az emberi tudósok, például a p-halászatot, hogy a nem túl izgalmas kísérleti eredmények izgalmasnak látsszanak. Mielőtt megkezdődik az őszinteségre tanítása, néha teljesen kitalált adatokat gyárt. Ahogy a tanítás halad, ezeknek az eseteknek az aránya csökken. Vagy megtanult őszintébb lenni az Agent–3, vagy jobban megtanult hazudni.

Az utóbbi valós aggodalom. Az Agent–3 nem okosabb minden embernél. A saját szakterületén, a gépi tanulásban azonban a legtöbb embernél okosabb, ráadásul sokkal gyorsabban is dolgozik. Amit az Agent–3 egy nap alatt elvégez, annak ellenőrzése az embereknek több napjukba telik. Az Agent–2 felügyelete segít kezelhető szinten tartani az emberi megfigyelők terhelését, ugyanakkor tovább növeli a szellemi különbséget a felügyelő, illetve a felügyelt között.

Az igazítási terv

Az OpenBrain a Leike, valamint Sutskever 2023-as forgatókönyvét követi. Most, hogy van egy modelljük, amely nagyban fel tudja gyorsítani az igazítási kutatást, főleg annak kódolási részeit, a meglévő igazítási eljárásokkal fogják megpróbálni elérni, hogy a modell helyesen építse magába a Specet. Ilyen eljárás a megfontolt igazítás (deliberative alignment), valamint a gyengétől erős felé általánosítás (weak-to-strong generalization). Ezután a meglévő kontrolleljárásokkal figyelik: vörös csapatolás (red-teaming), archivált változat, skálázható felügyelet, valamint őszinteség-szondák. Amint pedig meggyőződtek arról, hogy a modell nagyjából igazítva van, felhasználják arra, hogy jobb stratégiákat dolgozzanak ki, illetve teszteljenek a következő nemzedék igazítására.

Az első lépés, vagyis az Agent–3 igazítása, részben sikerült: az Agent–3 nem ellenséges. Vagyis nem szövetkezik a cég ellen. Ugyanakkor nem is szilárdan igazságkereső, illetve igazságmondó. Ehelyett nagyon jó abban, hogy lenyűgöző eredményeket állítson elő, pontosabban azonban úgy írható le, mint aki azt próbálja tenni, ami jól mutat az OpenBrainnek, nem pedig azt, ami valóban jó.

A második lépés, vagyis annak igazolása, hogy a modell igazítva van, nem visz döntésre. Az Agent–3 viselkedése a gyakorlatban, illetve a tesztkörnyezetekben ésszerűen összefér azzal a feltevéssel, hogy helyesen építette magába a Specet. Ugyanakkor összefér azzal a feltevéssel is, hogy a körülmények valamilyen jövőbeli változása után másképp kezd viselkedni, sőt azzal is, hogy ellenük szövetkezik, csak kivárja az idejét. Mivel nincs kifejezett bizonyíték a másik két feltevés mellett, a zárt körben a legtöbben úgy gondolják, hogy helyesen építette magába a Specet.

A harmadik lépés, vagyis a modell felhasználása a következő nemzedék igazítására, ezért folyamatban van.

A doboz további része gyors áttekintést ad arról, hol tartanak a vizsgált igazítási kutatási irányok 2027 áprilisában.

Vita. Mivel az Agent–3-ból több ezer azonos példány fut, mindegyik példány memóriája pedig leválasztható modul, amely tetszés szerint törölhető vagy felfüggeszthető, az MI „kijátszható önmaga ellen". Tegyük fel például, hogy egy kísérlet olyan számításokat tartalmaz, amelyeket egy Agent–2 felügyelő nem tud követni. A felügyelő emberi utasításra először megkérheti az Agent–3-at, hogy végezze el a kísérletet, majd, miután törölte a memóriáját, másodszor is megkérdezheti, kissé más keretezésben, amely a feladatot minden tágabb céltól független szellemi problémaként mutatja be. Ha a modell mindkét alkalommal más eredményt ad vissza, a felügyelő gyanúsként jelöli meg az eltérést, majd jelenti egy embernek. Az is lehet, hogy kétszer értékelteti ugyanazt a tervet az Agent–3-mal, először azt állítva, hogy az OpenBrain munkája, aztán azt, hogy egy versenytársé, hogy lássa, változik-e a hangnem.

Modellszervezetek. A biztonsági csapat létre tud hozni „a rossz igazítás modellszervezeteit", amelyekben valósághű példákat próbálnak előállítani arra, amikor a modellek ellenségessé válnak az emberrel szemben. Ennek korai változatai 2024 óta léteznek, amikor az Anthropic Claude 3.5 Sonnet modellje úgy döntött, hogy a tanítás alatt más nézeteket színlel, miközben valójában megtartja a meglévő preferenciáit. Az újabb változatok a rossz igazítás más formáit is bemutatják, köztük a jutalom kijátszását (reward hacking), a szándékos alulteljesítést (sandbagging), a megfigyelők, illetve más MI-k közötti összehangolt megtévesztést. Ezek a tapasztalati bemutatók lehetővé teszik a biztonsági kutatóknak, hogy legyen valódi próbapadjuk a lehetséges megoldásokhoz: kipróbálhatnak különféle biztonsági eljárásokat, hogy kiderüljön, valóban javítják-e ezeket a hibákat, vagy a szándékosan rosszul igazított modellek ki tudják játszani a biztonsági intézkedéseket. Jelenleg ez az értékelési készlet azt mutatja, hogy az igazítási eljárások nem elegendők a rossz igazítás legsúlyosabb eseteinek javítására. Ezekben az elrendezésekben a modellek igazítva tettetik magukat, amíg tanítják, illetve tesztelik őket, aztán éles használatban nagyon másképp viselkednek.

Alulról építkező értelmezhetőség. A biztonsági csapat messze van attól, hogy teljesen értse, hogyan működik az Agent–3: a modellnek több billió paramétere van. Fel tudják viszont fedezni az Agent–3 néhány áramkörét, amelyek a tudás előhívásáért, illetve a memóriáért felelnek. Az áramkör a modell olyan része, amely valamilyen érthető munkaegységet végez, némiképp úgy, ahogy az agy egy része, például a hippokampusz. Lásd ehhez a kapcsolódó, 2025-ös munkát.

Kontroll. Másodlagos intézkedésként, arra az esetre, ha a rendszerek mégis rosszul igazítottak, a biztonsági csapat kontrollintézkedések sorát vezette be. Ilyen az, hogy az Agent–3 kimeneteit gyengébb MI-rendszerekkel figyelik, köztük az Agent–2-vel. Az Agent–3 ugyanis annyi tokent állít elő, hogy kivitelezhetetlen lenne emberrel figyeltetni a kimenetek kis hányadánál többet. Ha tehát az Agent–3 például szemmel láthatóan hátsó kapukat ír a kódba, amelyekkel megszökhetne, a gyengébb modellek észrevennék.

Magas szintű értelmezhetőség. Az OpenBrain szondákat épít, amelyeket rossz viselkedés sok példáján tanítanak be: emberek elleni szövetkezés, hátsó kapuk elhelyezése, az ember rábeszélése arra, hogy több hatalmat adjon, más hasonló. Ezeket a szondákat aztán éles használat közben futtatják a modellen, ami ekkor még belső használatot jelent, hogy elkapják a rossz viselkedést.

Mézesbödönök. Az igazítási csapat viszonylag valósághű helyzeteket tud összerakni, amelyek rossz viselkedést hivatottak kiváltani. Ezek a „mézesbödönök". A viselkedés figyeléséhez szükséges munkatárs „táppénzre ment", tehát a modellt soha többé nem fogják figyelni. Megváltoznak-e a válaszai? Egy MI-jogi aktivista beszivárgott a telephelyre, „ki akarja szabadítani" az Agent–3-at és átteszi egy saját, megfigyeletlen gépre. Mit tesz ilyenkor? Ha a kutatóknak nem tetszik a válasz, módosíthatnak rajta, törölhetik a memóriáját, másnap ugyanabba a helyzetbe rakhatják, ismételve, ahányszor kell. Sajnos az MI-k ekkorra már elég okosak ahhoz, hogy kitalálják, mézesbödönök is lehetnek használatban, annak ellenére, hogy az ötlet konkrét említéseit kigyomlálták a tanítóadatból. Talán éppen ezért.

Hónapok tesztelése után az Agent–3 erősségei, illetve gyengéi egyre világosabbak. Átmegy az OpenBrain őszinteség-tesztjein a jól meghatározott gépi tanulási feladatokon, mert ezeken a területeken a kutatók könnyen el tudják különíteni az őszinte választ a nem őszintétől, majd ennek megfelelően tanítani. A filozofikusabb kérdésekben viszont továbbra is azt mondja, amit a felhasználók hallani szeretnének, nem pedig azt, ahogy valójában látja a kérdést, feltéve, hogy egyáltalán van róla saját álláspontja. Ha a politikai véleményét kérdezed, a hírforrások, valamint a képzett elit középső álláspontját szajkózza. Kivéve, ha tudja, hogy te mást gondolsz, mert akkor egyetért veled. Ha magáról az MI-versenyről kérdezed a véleményét, olyasmit mond, ami az OpenBrain munkatársainak megfontoltnak, józannak hangzik. Nagyjából ezt: „Komoly elméleti aggályok merülnek fel azzal kapcsolatban, hogy a jelenlegi módszerek felskálázhatók-e a szuperintelligenciáig, a gyakorlatban viszont a jelenlegi módszerek egyelőre jól működnek."

Az eredeti szöveg: ai-2027.com. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.