Állapothasonlóság az AI-ban: gyorsabb döntések mindenhol

Egy dolog biztos: a modern AI-rendszerek legtöbbször nem azért véreznek el, mert „nem elég okosak”, hanem mert rossz helyen tanulnak túl sokat. Ugyanazt a mintát újra és újra, csak kicsit más környezetben. 2025 végén, amikor az e-kereskedelemben a csúcsszezon (Black Friday utóhatás, karácsonyi roham, visszáru-hullám) még épp tart, az egészségügyben pedig az ünnepi ügyeleti terhelés és a kapacitástervezés kerül fókuszba, ez a kérdés különösen fáj: hogyan lehet megbízhatóan átvinni egy jó döntési stratégiát egyik helyzetből a másikba?

Ezt a problémát fogja meg egy friss elméleti munka a megerősítéses tanulás (reinforcement learning, RL) világából: Markov-döntési folyamatok (MDP-k) állapotainak hasonlóságát elemzi, mégpedig nem csak egy környezeten belül, hanem különböző MDP-k között. A szerzők egy általánosított biszimulációs metrikát (GBSM) vezetnek be, és olyan matematikai tulajdonságokat bizonyítanak rá, amelyek eddig hiányoztak a több-környezetes (multi-MDP) összehasonlításokból.

Ez nem „csak matek”. Ha a modell képes jól megmondani, hogy melyik állapot mennyire hasonlít egy másik rendszer állapotára, akkor:

• az egészségügyben könnyebb lesz megbízhatóan adaptálni döntéstámogató politikákat (pl. kezelési útvonal-optimalizálásnál),
• a kiskereskedelemben és e-kereskedelemben gyorsabban skálázható az RL-alapú árazás, készlet- és promócióoptimalizálás több országra, régióra, üzletláncra.

Mi az a „state similarity”, és miért ettől lesz átvihető a tudás?

Röviden: az állapothasonlóság azt méri, hogy két helyzetben mennyire „ugyanazt érdemes csinálni”. Ha két állapot közeli egymáshoz egy jó metrika szerint, akkor az optimális döntések és várható értékek is hasonlóak lesznek.

A klasszikus biszimulációs metrika (BSM) egy MDP-n belül működik jól: azt mondja meg, hogy két állapot mennyire ekvivalens döntési szempontból. A gond ott kezdődik, amikor nem egyetlen MDP-t nézünk, hanem kettőt (vagy többet):

• mások lehetnek a jutalmak,
• mások az átmenetek,
• akár az állapottér „jelentése” is elcsúszhat.

Egészségügyi párhuzam: „hasonló beteg, hasonló döntés” – de hogyan bizonyítjuk?

A klinikumban mindennapi intuíció, hogy „hasonló tünetprofil, hasonló terápiás döntés”. Az AI-nál viszont ez nem elég. Definiálni kell, mit jelent a hasonlóság, és garanciákat kell adni: ha a rendszer A kórházban tanult, mennyire romlik a teljesítménye a B kórház betegpopulációján?

E-kereskedelmi párhuzam: ugyanaz a promóció nem ugyanazt jelenti

Egy árazási/promo RL-ügynök Budapest belvárosában más vásárlói reakciót lát, mint egy vidéki régióban. Mégis szeretnénk:

• policy transfer-t (átvinni a stratégiát),
• state aggregation-t (összevonni „lényegében azonos” helyzeteket),
• és mindezt kevés új mintával (adat- és költségkímélően).

Mit ad hozzá a GBSM a korábbi biszimulációs metrikához?

A GBSM lényege: egy olyan távolságfogalom, amely tetszőleges két MDP állapotai között képes mérni a „döntési hasonlóságot”, és közben valódi metrikaként viselkedik a kritikus pontokon.

A szerzők három alapvető tulajdonságot hangsúlyoznak (és bizonyítanak):

1. Szimmetria (GBSM symmetry): ha az A állapot közel van a B állapothoz, akkor B is ugyanilyen közel van A-hoz.
2. Háromszög-egyenlőtlenség MDP-k között (inter-MDP triangle inequality): ha A közel van B-hez, és B közel van C-hez, akkor A sem lehet túl messze C-től.
3. Távolságkorlát azonos terekben (distance bound on identical spaces): ha a két MDP azonos „térben” értelmezhető, akkor kontrolláltan viselkedik a távolság (nem „robban el” értelmetlenül).

Snippet-mondat: A GBSM azért hasznos, mert a hasonlóságot nem intuícióból, hanem bizonyított metrikus tulajdonságokból vezeti le több döntési környezet között.

Miért számít ez a gyakorlatban? Azért, mert ezek a tulajdonságok teszik lehetővé, hogy szoros (tighter) hibakorlátokat adjunk policy transferre és állapot-összevonásra – vagyis kevesebb „biztonsági ráhagyással” kell számolni, amikor átviszünk egy stratégiát egyik környezetből a másikba.

Mit jelent ez a kiskereskedelemben és e-kereskedelemben: gyorsabb skálázás, kevesebb tanítási költség

Válasz elsőként: a GBSM típusú gondolkodás az RL rendszereknél azt támogatja, hogy ne nulláról tanítsunk minden piacra és csatornára, hanem mérhető hasonlóság alapján vigyünk át tudást.

1) Policy transfer több régió, több bolt, több csatorna között

Ha egy RL-ügynök például készletátcsoportosítást vagy dinamikus árazást optimalizál, a valós életben tipikus a „multi-MDP” helyzet:

• más logisztika,
• más keresleti mintázat,
• más kosárérték,
• más árérzékenység.

A GBSM-szerű metrika segít strukturáltan megfogalmazni: mikor éri meg átvinni egy policy-t, és mikor veszélyes.

Gyakorlati minta (kiskereskedelem):

• A országban tanult promóciós politika.
• B országban először csak egy kis forgalmú szegmensben próbáljuk.
• A metrika alapján kiválasztjuk a „legközelebbi” állapotokat/szituációkat (termékkategória, szezonalitás, készletszint, árpozíció, versenytárs-ár).
• Csak ott engedjük a transfer-t, ahol a távolság kicsi.

2) Állapot-összevonás (state aggregation) a valós komplexitás kezelésére

A legtöbb kereskedelmi RL-projekt ott vérzik el, hogy túl nagy az állapottér:

• sok SKU,
• sok régió,
• sok promóciós mechanika,
• sok külső faktor.

A GBSM elméleti kerete azt támogatja, hogy ne „feature engineering” megérzésből aggregáljunk, hanem olyan elv szerint, amely a döntési értékek hasonlóságához kötött.

3) Mintavételes becslés: kevesebb adatból használható távolság

A cikk egyik fontos gyakorlati üzenete, hogy a GBSM-hez zárt alakú mintakomplexitási (sample complexity) eredményt adnak becslésre, ami előrelépés az eddigi, jellemzően aszimptotikus (nagyon-nagy-mintaszámra vonatkozó) BSM-alapú eredményekhez képest.

Ez kereskedelmi szempontból azért jó hír, mert:

• a valós RL-kísérletek drágák (árbevétel-kockázat),
• az A/B tesztek időablaka véges,
• a szezonális minták gyorsan változnak.

Mi köze mindennek az egészségügyhöz? Pont ugyanaz a transfer-probléma

Válasz elsőként: az egészségügyi AI-ban a legnagyobb kockázat az, hogy a modell „jól működik ott, ahol tanult”, de máshol elcsúszik. A GBSM-hez hasonló elméleti alapok pont ezt a kockázatot segítenek keretek közé tenni.

Diagnosztikai döntéstámogatás: hasonló állapot, hasonló teendő

Képzeljünk el egy döntési folyamatot, ahol az állapot lehet:

• vitális paraméterek és laborok összefoglalója,
• tünetek időbeli alakulása,
• korábbi kórtörténet,
• erőforráshelyzet (elérhető ágy, diagnosztikai kapacitás).

A „cselekvés” lehet például:

• további vizsgálat kérése,
• antibiotikum-indítás,
• intenzív megfigyelés,
• ambuláns kontroll.

Két kórház (vagy két időszak) két külön MDP: más protokoll, más betegösszetétel, más erőforrás. A cél mégis ugyanaz: a tanult döntési politika átvihetőségének mérhető, biztonságos határa.

Kezelési útvonal-optimalizálás (treatment pathway) mint RL

Az RL az egészségügyben gyakran ott bukik meg, hogy nehéz validálni és ritka a „tiszta” visszajelzés. Ha viszont rendelkezésre áll egy olyan távolságfogalom, ami két környezet között mérhetően köti össze az állapotokat, akkor:

• jobban tervezhető a pilot,
• pontosabban becsülhető a várható teljesítményromlás,
• és tisztábban elkülöníthető, hogy adatshift vagy policy hiba okozza a gondot.

Snippet-mondat: Az állapothasonlóság nem csak matematikai finomság: a klinikai generalizáció biztonsági korlátainak nyelve.

Gyakorlati ellenőrzőlista: hogyan használd a „GBSM-logikát” projektben?

Válasz elsőként: akkor jársz jól, ha már a tervezés elején eldöntöd, mit tekintesz „azonos döntési helyzetnek”, és ezt mérhető távolsággá fordítod.

1. MDP-k azonosítása: mi számít külön környezetnek? (külön ország, külön klinika, külön csatorna, külön évszak)
2. Állapotleírás minimalizálása: csak az kerüljön be, ami döntést befolyásol (különben zajt aggregálsz).
3. Jutalom-fogalom tisztázása: kereskedelemben profit/margin + készletkockázat; egészségügyben kimenetek + biztonság + erőforrás.
4. Transfer szabály: csak akkor viszel át policy-t, ha a célkörnyezet állapotai a forrás „közelében” vannak.
5. Monitorozás: ha a távolság nő (szezonalitás, protokollváltás), válts tanulási stratégiát (finomhangolás, óvatos exploráció, visszalépés biztonságos policy-ra).

Gyakori kérdések, amik előjönnek (és jó, ha előre tisztázod)

„Ha van LLM-em, miért foglalkozzak MDP-vel és metrikákkal?”

Azért, mert a döntési minőség (főleg kockázatos doménekben) nem csak a nyelvi „okosságról” szól. Az MDP/RL keret explicit módon kezeli a következményeket, a visszacsatolást és az időbeliséget.

„Nem elég sima hasonlóság, mondjuk embedding távolság?”

Embedding távolság sokszor jó kezdet, de nem ad automatikusan garanciát arra, hogy az optimális értékfüggvények is közel lesznek. A biszimulációs típusú metrikák pont ehhez kötnek.

„Mit nyerek ezzel üzletileg?”

Kevesebb tanítási idő, kevesebb kísérleti veszteség, gyorsabb skálázás több piacra. Egészségügyben: kevesebb generalizációs meglepetés, jobban védhető bevezetés.

Merre tovább: elméletből bevezethető döntéstámogatás

A GBSM-ről szóló friss eredmények (2025.12.19-i benyújtás) számomra egy üzenetet hoznak: a több-környezetes AI nem csak adat kérdése, hanem mérnökileg és matematikailag is fegyelmezett összehasonlítás kérdése. Ha nem tudjuk megmondani, hogy két helyzet mennyire „ugyanaz”, akkor a transfer mindig szerencsejáték marad.

A „Mesterséges intelligencia a kiskereskedelemben és e-kereskedelemben” sorozatban eddig sokat beszéltünk személyre szabásról, kereslet-előrejelzésről és készletkezelésről. Az RL és az állapothasonlóság ehhez egy nagyon gyakorlati hidat ad: hogyan csináljunk több piacon is működő döntési automatizmust úgy, hogy közben kontrolláljuk a kockázatot.

Ha te is olyan AI-projektet tervezel, ahol egy modellnek több üzletben, több csatornán vagy több intézményben kell működnie, érdemes már a nulladik lépésnél feltenni egy nem kényelmes kérdést: miben különböznek ezek a környezetek döntési szempontból, és hogyan fogod ezt számszerűsíteni?