TRAPO: adaptív AI, ami megbízhatóbb döntéseket hoz

Egy meglepően gyakori hiba az AI-projekteknél: előbb „betanítjuk” a modellt, aztán „okosítjuk” jutalmazással, és közben elfelejtjük, hogy a két lépés sokszor ellentmond egymásnak. A friss TRAPO-megközelítés (Trust-Region Adaptive Policy Optimization) pont ezt a repedést próbálja befoltozni: ugyanazon feladaton belül váltogatja az utánzást (SFT) és az önálló felfedezést (RL), mégpedig úgy, hogy a tanulás közben ne szaladjon el a modell.

Ez nem csak kutatói finomság. Ha AI-t használsz kiskereskedelemben és e-kereskedelemben (ajánlórendszer, kereslet-előrejelzés, készletoptimalizálás, ügyfélszolgálati asszisztens), akkor pontosan tudod: a modellnek egyszerre kell megbízhatóan követnie a szabályokat (árképzés, compliance, brand-hang) és rugalmasan alkalmazkodnia az új mintákhoz (szezonális kilengések, kampányhatás, készlethiány).

És van még egy terület, ahol ez a kettősség életbevágó: az egészségügyi döntéstámogatás. Ott a túl merev „utánzás” veszélyes lehet, a kontrollálatlan „felfedezés” pedig még inkább. A TRAPO értéke abban áll, hogy a tanulást „biztonsági korláttal” (trust region) teszi stabilabbá, ami kritikus rendszereknél aranyat ér.

Mi a gond a klasszikus „SFT majd RL” folyamattal?

A lényeg röviden: a kétlépcsős utótréning sokszor belső konfliktust épít a modellbe.

Az SFT (Supervised Fine-Tuning) arra kényszeríti a modellt, hogy pont úgy válaszoljon, mint az emberi „szakértő” példákban. Ez jó a konzisztenciához, de:

• visszafogja a felfedezést: a modell megtanulja, hogy „biztonságos” szűk sávban maradni;
• felejtést okozhat: bizonyos képességek (pl. alternatív megoldási utak) elkopnak;
• az RL (Reinforcement Learning) később hiába próbál javítani, kisebb mozgástere marad.

E-kereskedelmi analógia: képzeld el, hogy az ajánlórendszeredet úgy tréningeled, hogy csak a múltbeli leggyakoribb kosarak mintáját utánozza. Aztán később jutalmazod, ha növeli a kosárértéket. Csakhogy addigra a modell már „beállt” a megszokott utakra, és nem mer új kombinációkat ajánlani – vagy ha mer, könnyen túllő a célon.

Egészségügyi analógia: ha egy triázs-modell túl mereven utánozza a protokollszövegeket, akkor a ritka eseteknél rosszabbul teljesíthet. De ha a jutalmazás során túl agresszíven változik, az biztonsági kockázat.

TRAPO: egy feladaton belül összehangolt utánzás és felfedezés

A TRAPO központi állítása egyszerű és vállalható: ne külön fázisokban utánozzunk és optimalizáljunk, hanem ugyanazon tréningpéldán belül válasszuk szét, melyik rész mikor kap felügyeletet és mikor kap jutalmat.

Hogyan néz ki ez a gyakorlatban?

A módszer lényege:

• a modell kap egy feladatot (pl. matematikai feladat – a cikkben főleg ilyen benchmarkok vannak),
• a válasz elejének egy részén (expert prefix) SFT-veszteséget optimalizál,
• a válasz folytatásán (a modell saját kiegészítése) RL-veszteséget optimalizál.

Ez a kettő együtt azt jelenti: a modell nem ragad bele a „szép mintamegoldások” másolásába, de nem is „vadul” próbálkozik. A tanulás középen találkozik.

Kiskereskedelmi fordítás: egy ügyfélszolgálati LLM esetén az első mondatoknál (köszönés, azonosítás, alap GDPR-szöveg, visszakérdezési keret) érdemes szigorúan SFT-vel tartani a brand- és jogi kereteket. Utána (konkrét megoldási javaslat, kompenzációs opciók, cserefolyamat lépések) jöhet az RL: jutalmazod a rövid megoldási időt, a magas CSAT-ot, a kevesebb eszkalációt, miközben figyeled, hogy ne sérüljenek a szabályok.

Egészségügyben ugyanez: az anamnézis felvétele és a biztonsági figyelmeztetések lehetnek „prefix” jelleggel felügyeltek, míg a differenciáldiagnózis-sorrend és javasolt vizsgálati út – szigorú korlátokkal – kaphat RL-jellegű optimalizálást.

Trust-region SFT (TrSFT): stabilitás kontrollált változással

A TRAPO egyik fontos eleme a Trust-Region SFT (TrSFT). A célja: ne engedje, hogy az SFT túl nagy, instabil lépésekkel átírja a modellt, mert az később az RL-t is megzavarja.

Miért számít a KL-eltérés iránya?

A cikk a KL-divergencián keresztül magyaráz:

• a „klasszikus” SFT gyakran olyan irányba tol, ami szélesebb lefedettséget kényszerít (mint amikor mindent „le akarunk fedni”),
• az RL-nek viszont sokszor előnyös a mode-seeking, célirányosabb frissítés (inkább a jó megoldási módokra koncentrál).

A TrSFT ezt úgy kezeli, hogy a forward KL minimalizálását trust regionön belül erősen optimalizálja, de azon kívül tompítja a frissítést. Ennek hatása: amikor a modell „kilógna” a biztonságos sávból, a módszer nem engedi teljes erővel tovább tolni.

E-kereskedelmi példa, ahol ez nagyon kézzelfogható:

• Ha ajánlórendszered RL-lel a bevételt maximalizálja, hajlamos lehet „ráállni” néhány agresszív termékre (pl. magas árrésű kiegészítők).
• A trust-region jellegű korlát segít, hogy a rendszer ne borítsa fel a vásárlói élményt egyik napról a másikra.

Egészségügyben pedig: a kezelési javaslatokat optimalizáló modellnél a trust region gondoskodik róla, hogy a modell ne térjen el hirtelen a klinikailag elfogadott tartománytól, még akkor sem, ha egy szűk mérőszám rövid távon javulna.

Adaptív prefix-választás: ott adsz „kézen fogást”, ahol tényleg kell

A TRAPO bevezet egy adaptív prefix-selection mechanizmust is: nem fix, hogy mennyi „szakértői” előtagot kap a modell, hanem a hasznosság mérése alapján osztja a felügyeletet.

Ez azért okos, mert a valós rendszerekben a nehézség nem egyenletes.

• Van, amikor az ügyfélkérdés rutin (szállítási idő, számla, csere). Itt kevés prefix is elég.
• Van, amikor kényes (adatkezelés, panasz, chargeback, egészségügyi tünetekhez hasonló „piros zászlók”). Itt több szakértői terelés kell.

„A jó AI nem attól jó, hogy mindig ugyanannyit magyaráz, hanem attól, hogy tudja, mikor kell kapaszkodót adni.”

Gyakorlati ötlet: adaptív „felügyeleti zónák” retail és health projektekben

Ha üzleti oldalon gondolkodsz (lead cél, bevezetés, skálázás), én három zónát szoktam javasolni:

1. Zöld zóna (alacsony kockázat): több RL, több felfedezés (pl. ajánlási sorrend finomhangolás, szöveges válasz stílusa).
2. Sárga zóna (közepes kockázat): vegyes, TRAPO-szerű interleave (pl. visszatérítés szabályai, promóciós feltételek magyarázata).
3. Piros zóna (magas kockázat): több SFT + szűk trust region (pl. egészségügyi tanácsadásnál riasztó tünetek, gyógyszer-interakciós figyelmeztetések).

Ez a keretrendszer jól illik olyan kampányidőszakokra is, mint a december végi leárazások: sok az ügyfélszolgálati megkeresés, és megnő a hibaköltség. Stabil tréningre van szükség.

Mit jelent mindez a „megbízható orvosi AI” szempontjából?

A válasz: a TRAPO típusú tanulás formálisabb kontrollt ad a modell változására, miközben nem öli meg az adaptációt.

Egészségügyi döntéstámogatásban (triázs, radiológiai előszűrés, klinikai jegyzetek összegzése) a fő kockázatok:

• hallucináció (magabiztos, de téves állítás),
• eloszlás-eltolódás (más a betegpopuláció vagy a protokoll),
• rejtett regresszió (javul egy mérőszám, romlik egy másik, kritikusabb).

A trust-region gondolat (és az adaptív felügyelet) ezekre ad egy mérnökileg is értelmezhető választ: korlátozod a tanulási lépés nagyságát, és differenciálod, hol mennyi emberi iránymutatás kell.

Fontos álláspontom: egészségügyben az RL nem „tiltott”, csak rosszul keretezve veszélyes. Olyan célfüggvény kell, ami nem csak pontosságot, hanem biztonsági és megfelelőségi feltételeket is jutalmaz/büntet. A TRAPO-szerű interleave pedig segít, hogy a modell ne „szakítsa el” a valóságtól a felügyelt tudást.

Hogyan ültethető át TRAPO-szemlélet a kiskereskedelmi AI-ba?

A közvetlen implementáció nem mindig szükséges. A szemlélet viszont azonnal használható.

1) Válaszd szét, mi a „prefix” és mi a „completion” a termékedben

Konkrétan írd össze:

• Mi az a rész, amit mindig kontrollálni kell? (szabályok, tájékoztatás, kötelező lépések)
• Mi az, ahol lehet optimalizálni üzleti célra? (ajánlás, sorrendiség, megoldási utak)

2) Tegyél trust region-szerű korlátot a frissítésekre

Ez lehet technikai (KL-penalty, policy constraint) vagy termék oldali:

• „nem változhat 24 órán belül 5%-nál többet a top ajánlott termékek aránya”,
• „nem eshet a panaszarány X fölé”,
• „nem nőhet a visszaküldés Y fölé”.

3) Adaptív felügyelet: ember ott, ahol a legdrágább a hiba

Ahelyett, hogy mindent ugyanúgy review-znátok:

• fókusz azokra a szegmensekre, ahol új a termék, új a szabály, vagy magas a kockázat;
• a rutin eseteknél hagyj több autonómiát, és csak monitorozz.

4) Mérőszámok: egy RL-cél sosem egy szám

Retailben tipikus többcélú jutalmazás:

• konverzió + kosárérték + hosszú távú megtartás,
• mínusz: visszaküldés, ügyfélszolgálati terhelés, szabálysértés.

Egészségügyben ugyanez: nem elég egy AUC vagy pontosság. Kell:

• téves negatívok minimalizálása kritikus állapotoknál,
• magyarázhatóság és auditálhatóság,
• protokoll-konformitás.

Zárás: miért érdemes TRAPO-val foglalkozni 2026 elején?

A TRAPO üzenete számomra az, hogy az AI utótréning nem „SFT vagy RL”, hanem a kettő kontrollált együttműködése. A trust-region logika és az adaptív felügyelet olyan mintázat, ami egyszerre működik a kiskereskedelmi rendszereknél (ahol a felhasználói élmény és bevétel számít) és az egészségügyben (ahol a biztonság és megbízhatóság az első).

Ha a következő negyedévben ajánlórendszert, kereslet-előrejelzést vagy AI ügyfélszolgálatot fejlesztesz, érdemes feltenned egy nagyon praktikus kérdést: hol kell a modellnek „protokollt követnie”, és hol kell „okosan próbálkoznia” – és mekkora eltérést engedsz meg neki két frissítés között?

Ha szeretnél egy rövid, üzleti fókuszú tervet arra, hogyan lehet a TRAPO-szemléletet beépíteni a saját AI-rendszeredbe (mérőszámok, kockázati zónák, humán review kapacitás), kérj tőlünk egy konzultációs vázlatot – 1–2 hét alatt jól mérhető pilotot lehet összerakni.