2027. március: algoritmikus áttörések

Eredeti: ai-2027.com, AI Futures Project, 2025. április 3. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.

Három hatalmas, Agent–2 másolatokkal teli adatközpont dolgozik éjjel-nappal, ontva a szintetikus tanítóadatot. További kettő a súlyok frissítésén dolgozik. Az Agent–2 napról napra okosabb lesz.

Több ezer automatizált Agent–2 kutató segítségével az OpenBrain komoly algoritmikus előrelépéseket ér el. Az egyik ilyen áttörés az, hogy az MI szöveges jegyzettömbjét, vagyis a gondolatláncot (chain of thought), egy nagyobb sávszélességű gondolkodási folyamattal egészítik ki: ez a neuralese-visszacsatolás, valamint a neuralese-memória. A másik egy jobban skálázható, hatékonyabb módszer arra, hogy a nagy ráfordítású feladatmegoldások eredményéből tanuljanak: ez az ismételt lepárlás, illetve felerősítés (iterated distillation and amplification).

Az új MI-rendszert, amely ezeket az áttöréseket magában foglalja, Agent–3-nak hívják.

Neuralese-visszacsatolás, valamint neuralese-memória

A neuralese-visszacsatolás, illetve a neuralese-memória lehetővé teszi az MI-modelleknek, hogy hosszabb ideig gondolkodjanak anélkül, hogy a gondolataikat szövegként le kellene írniuk.

Képzeld el, hogy embertársként rövid távú emlékezetkiesésed van, ezért folyton papírra kell vetned a gondolataidat, hogy pár perc múlva tudd, mi történik. Lassan, kínlódva előrébb jutnál a matematikai feladatokkal, a kódírással, más hasonlóval, sokkal könnyebb lenne azonban, ha közvetlenül emlékeznél a gondolataidra, leírás, majd visszaolvasás nélkül. A neuralese-visszacsatolás, illetve a neuralese-memória pontosan ezt adja meg az MI-modelleknek.

Technikaibban fogalmazva:

A hagyományos figyelmi mechanizmusok megengedik, hogy a modell későbbi előre futásai lássák a korábbi tokenekhez tartozó köztes aktivációkat. Visszafelé, a későbbi rétegektől a korábbiak felé viszont csak tokeneken át tudnak információt átadni. Ez azt jelenti, hogy ha egy hagyományos nagy nyelvi modell (LLM, például a GPT-sorozat) olyan gondolatmenetet akar végigvinni, amely több egymás utáni műveletet kíván, mint ahány rétege van, akkor a modell kénytelen tokenekbe tenni az információt, majd azokat visszaadni magának. Ez azonban óriási korlát: a tokenek csak parányi mennyiségű információt tudnak tárolni. Tegyük fel, hogy egy LLM szókészletének mérete nagyjából 100 000. Ekkor egy token log2(100 000) = 16,6 bitnyi információt hordoz, ami körülbelül egyetlen lebegőpontos szám mérete, FP16 tanítást feltételezve. A maradékfolyamok (residual stream) ezzel szemben, amelyek a rétegek között viszik az információt egy LLM-ben, több ezer lebegőpontos számot tartalmaznak.

Ezt a szűk keresztmetszetet a neuralese kerüli meg: az LLM maradékfolyamát, amely több ezer dimenziós vektorokból áll, visszaadja a modell korai rétegeinek. Így a modell nagy dimenziós gondolatláncot kap, amely akár ezerszer több információt is átvihet.

Ábra Hao és társai 2024-es, Meta-nál készült tanulmányából, amely ezt az ötletet valósította meg.

Azért hívjuk „neuralese"-nek, mert az angol szavakkal ellentétben ezeket a nagy dimenziós vektorokat az ember valószínűleg elég nehezen tudja értelmezni. Korábban a kutatók egyszerűen a gondolatlánc elolvasásával jó képet kaptak arról, mit gondol egy LLM. Most viszont vagy meg kell kérniük a modellt, hogy fordítsa le, illetve foglalja össze a gondolatait, vagy a korlátozott értelmezhetőségi eszközeikkel kell törniük a fejüket a neuralese-en.

Hasonlóképpen, a régebbi MI-csevegőrobotoknak, illetve ügynököknek külső, szöveges memóriabankjuk volt, ahogy az ember jegyzetel a papírra. Az új MI hosszú távú memóriája szöveg helyett vektorok köteg, ettől a gondolatai tömörítettebbek, illetve nagyobb dimenziójúak. Többféle memóriabank létezik: némelyiket ideiglenesen használják egyetlen, több lépésből álló feladathoz, mások közösek egy adott személy, cég vagy munkatípus, például a programozás összes ügynöke között.

Tudomásunk szerint a vezető MI-cégek, mint a Meta, a Google DeepMind, az OpenAI, valamint az Anthropic, még nem valósították meg ezt az ötletet az élvonalbeli modelljeikben. A tippünk az, hogy azért nem, mert a teljesítménynyereség kicsi ahhoz a tanítási hatékonyságvesztéshez képest, amelyet magával hoz. A modell előtanítási szakaszában, illetve az utótanítás felügyelt tanulásánál, például amikor utasításokra hangolják, hogy adott válaszokat adjon, a hatékonyságvesztés abból ered, hogy nem lehet sok tokent párhuzamosan előre jelezni, ettől romlik a GPU kihasználtsága. Neuralese nélkül a modell a „Ez egy példa" mondat egészét egyszerre tudja megjósolni, hiszen már tudja, hogy az „egy" előállításához a bemenet az „Ez" lesz, a „példa" bemenete pedig az „Ez egy", így tovább. Neuralese-zel viszont nem tudni előre, milyen neuralese-vektor megy át a következő tokenbe azután, hogy az „Ez" elkészült. Ezért minden tokent egyesével kell megjósolni. Az, hogy nem lehet minden tokent párhuzamosan előre jelezni, rontja a hatékonyságot azokban az esetekben, amikor az összes token előre ismert. Hogy az utótanításba miért nem került be eddig a neuralese, arra az a feltevésünk, hogy a nyereség a jelenlegi eljárásokkal korlátozott, részben mert az utótanítás a folyamat kis részét teszi ki. Azt jósoljuk, hogy 2027 áprilisára a neuralese költség-haszon mérlege sokkal jobban áll majd, mert jobb eljárások születnek, ráadásul a tanítás nagyobb hányada lesz utótanítás.

Ha ez nem történik meg, más dolgok akkor is történhetnek, amelyek a történetünkben nagyjából ugyanazt a szerepet töltik be. Például elképzelhető, hogy a modelleket olyan mesterséges nyelveken való gondolkodásra tanítják, amelyek hatékonyabbak a természetes nyelvnél, az ember viszont nehezen érti őket. Az is lehet, hogy bevett gyakorlattá válik az angol gondolatláncokat szépre tanítani, amitől az MI-k ügyesen fognak burkoltan kommunikálni egymással olyan üzenetekben, amelyek a megfigyelők számára ártalmatlannak látszanak.

Ezzel együtt az is lehetséges, hogy azok az MI-k, amelyek először automatizálják az MI-kutatás-fejlesztést, még mindig többnyire hűséges, angol nyelvű gondolatláncokban gondolkodnak majd. Ha így lesz, az igazítási hibákat sokkal könnyebb lesz észrevenni, a történetünk pedig lényeges pontokon másképp, derűlátóbban alakulna.

Ismételt lepárlás, illetve felerősítés (IDA)

Az általános intelligencia önfejlesztése korábban is hozott kisebb sikereket. 2027 elején viszont hatalmasat fordul a hozama. Az IDA-ban ehhez két összetevő kell.

Felerősítés. Adott egy M0 modell, amelyre több erőforrást fordítunk, hogy javuljon a teljesítménye. Például hagyjuk tovább gondolkodni, vagy sok másolatát futtatjuk párhuzamosan, esetleg mindkettőt, ráadásul hasonlóan alapos folyamattal értékeljük az eredményt, kiválogatva csak a legjobb válaszokat. Így nagyságrendekkel több számítási kapacitást fordíthatunk arra, hogy érezhetően jobb minőségű válaszokat, illetve munkatermékeket kapjunk. Nevezzük ezt a drága rendszert Amp(M0)-nak.

Lepárlás. Adott egy felerősített Amp(M0) modell, amelyet egy új, M1 modell utánozni tanul. Vagyis ugyanazokat az eredményeket éri el, mint az Amp(M0), csak gyorsabban, kevesebb számítási kapacitással. Az eredmény remélhetőleg egy okosabb modell, az M1. A folyamat ezután ismételhető.

Az IDA szemléltetése Ord 2025-ös munkájából.

Az AlphaGót így tanították: a felerősítés lépése a Monte-Carlo-fakeresés, valamint az önmaga elleni játék volt, a lepárlásé pedig a megerősítéses tanulás. Ez emberfeletti teljesítményhez vezetett góban. Most viszont az Agent–3 ugyanezt tudja kihasználni ahhoz, hogy emberfeletti legyen a kódolásban.

A felerősítés lépése úgy működik, hogy az Agent–3 tovább gondolkodik, eszközöket használ, vagy más MI-kkel egyeztet, ezeket kombinálva. Ilyenkor gyakran rájön, hogy hibázott, vagy új felismerésre jut. Ez rengeteg tanítóadatot termel: kutatási kísérletek felcímkézett útvonalait aszerint, hogy sikerrel jártak-e. Ide tartoznak az olyan eljárások is, mint a Best of N az ellenőrizhető feladatokon, ahol aztán megtartják a legjobb útvonalakat.

A lepárlás lépése irányelv-gradiens alapú megerősítéses tanulási algoritmusokkal éri el, hogy a modell magába építse a felerősített gondolkodást. Az OpenBrain ekkorra jobb megerősítéses tanulási algoritmusokat fedezett fel, a proximal policy optimization (PPO) vonalán. Folyamatosan egyetlen lépésbe párolják le azt, amire az Agent–3 hosszú gondolkodás után jut, ettől egyre jobb lesz az, amire egyetlen lépésben jut, így tovább.

Az IDA korai változatai már sok éve működnek a könnyen ellenőrizhető feladatokon, például az egyértelmű megoldású matematikai, illetve kódolási feladatokon, mivel a modellek felerősítésére használt eljárások gyakran támaszkodnak valamilyen biztos pontossági jelzésre.

Mostanra a modellek elég jók lettek abban, hogy szubjektívebb dolgokat is megítéljenek, például egy munkatermék minőségét. Ettől az IDA sokféle feladaton használhatóvá vált a modell javítására.

Az új képességbeli áttörések segítségével az Agent–3 gyors, olcsó, emberfeletti kódoló. Az OpenBrain 200 000 Agent–3 másolatot futtat párhuzamosan, ami olyan munkaerőt ad, mintha a legjobb emberi kódolóból 50 000 példány dolgozna, harmincszoros sebességgel. Az OpenBrain továbbra is megtartja az emberi mérnökeit, mert olyan kiegészítő képességeik vannak, amelyek az Agent–3 másolatokból álló csapatok irányításához kellenek. A kutatói ízlést például nehéznek bizonyult betanítani, a hosszabb visszacsatolási körök, valamint a kevesebb elérhető adat miatt. Ez az óriási, emberfeletti munkaerő „csak" négyszeresére gyorsítja az OpenBrain algoritmikus haladásának általános ütemét, a szűk keresztmetszetek, valamint a kódolási munka csökkenő hozadéka miatt.

Most, hogy a kódolás teljesen automatizált, az OpenBrain gyorsan tud jó minőségű tanítási környezeteket ontani, hogy fejlessze az Agent–3 gyenge képességeit, például a kutatói ízlést, illetve a nagy léptékű összehangolást. Míg a korábbi tanítási környezetek úgy szóltak, hogy „itt van néhány GPU, meg utasítások kísérletekhez, amelyeket meg kell írni, majd lefuttatni, a teljesítményedet úgy értékeljük, mintha gépi tanulási mérnök lennél", addig most így: „itt van néhány száz GPU, egy internetkapcsolat, meg néhány kutatási kihívás. Neked, valamint másik ezer másolatnak együtt kell dolgoznotok, hogy előbbre jussatok a kutatásban. Minél lenyűgözőbb az eredmény, annál magasabb a pontszámotok."

Miért 2027 elejére jósolunk emberfeletti kódolót?

Az időtávokról szóló előrejelzésünkben megbecsüljük, mikor fejleszti ki az OpenBrain belsőleg az emberfeletti kódolót (superhuman coder, SC): olyan MI-rendszert, amely bármilyen kódolási feladatot el tud végezni, amit egy AGI-cég legjobb mérnöke, ráadásul sokkal gyorsabban, olcsóbban.

Egy friss METR-jelentés szerint azoknak a kódolási feladatoknak a hossza, amelyeket az MI-k kezelni tudnak, vagyis az „időtávjuk", 2019 és 2024 között 7 havonta duplázódott, 2024-től kezdve pedig 4 havonta. Ha a trend tovább gyorsul, 2027 márciusára az MI-k 80 százalékos megbízhatósággal oldhatnak meg olyan szoftverfeladatokat, amelyek egy képzett embernek évekbe telnének.

Nagyjából ez a képességbeli haladás az AI 2027-ben. Az alábbi képességgörbét az időtáv-modellünk egyszerűsített változata állította elő. (2025 decemberében hozzáadva: frissítettük a lenti grafikont, mert hiba volt abban, ahogyan az eredeti görbe készült. Betettük az időtáv-modellünkből származó tényleges görbét. Hozzáadtuk Daniel, illetve Eli mindent egybevető, az emberfeletti kódolóra vonatkozó mediánját is, a megjelenés idejéből, vagyis 2025 áprilisából. Új METR-adatpontokkal is kiegészítettük a grafikont, a modellgörbéket viszont ezek alapján nem frissítettük.)

Az AI 2027-ben ezek a képességek elegendők ahhoz, hogy az MI emberfeletti kódoló legyen, azzal együtt, hogy nagy a bizonytalanságunk abban, mekkora időtávra lehet szükség.

Az időtávokról szóló előrejelzésünkben ezt az időtáv-trendet összekapcsoljuk annak becslésével, mekkora a szakadék a METR feladatai, valamint a valóság között. Így kapunk eloszlást arra, mikor érkeznek meg az emberfeletti kódolók. Minden előrejelzőnk 2027-et teszi azok közé az évek közé, amelyekben az emberfeletti kódoló a legvalószínűbben megszülethet. (2025 decemberében hozzáadva: ahogy az időtáv-előrejelzésben jelezzük, a modellen kívüli tényezőkre igazítva valamivel hosszabb mediánokat kaptunk, Elié például 2030 lett.)

2025 júliusában hozzáadva: néhány frissítést végeztünk az előrejelzésen, amelyek másfél évvel tolják hátra a mediánt, miközben a 2027-es emberfeletti kódoló komoly lehetőségként megmarad. További frissítéseken dolgozunk.

Az eredeti szöveg: ai-2027.com. A magyar változatot a Kreatív Kontroll készítette, a szerzők írásos engedélyével.