LoRA felejtés nélkül: stabil finomhangolás élesben

A legtöbb csapat ott csúszik el a generatív AI bevezetésénél, hogy túl gyorsan „ráteker” egy nagy nyelvi modellt egy új feladatra. Pár óra finomhangolás, látványos javulás a célfeladaton… majd jön a pofon: a modell közben elfelejti azokat a képességeit, amik miatt eredetileg megvettük/telepítettük. Ez a jelenség a katastrofális felejtés.

2025 végén, amikor a kiskereskedelem és az e-kereskedelem egyszerre küzd a költségnyomással, a készletkockázatokkal és az ügyfélszolgálati terheléssel, ez nem akadémiai probléma. A valóságban ez így néz ki: a modell megtanulja a „visszaküldési policy”-t szépen, de hirtelen gyengébben ajánl terméket, romlik a szövegértése, vagy hibázik a méretezési táblázatoknál.

Egy friss arXiv-kutatás (Sliwa és mtsai., 2025.12.19.) erre ad egy nagyon praktikus irányt: LaLoRA néven egy olyan módszert javasolnak, ami a LoRA finomhangolásnál célzottan csökkenti a felejtést. A kulcsötlet egyszerűen megfogalmazható: ne engedd a modellnek, hogy ott módosítsa magát erősen, ahol „biztosan tudja a dolgát”.

Miért fáj a „felejtés” a kiskereskedelmi AI-ban (és az egészségügyben is)

A felejtés problémája ott jelentkezik legerősebben, ahol a modellnek többféle üzleti feladatot kell stabilan kiszolgálnia ugyanazon a napon.

A kiskereskedelemben tipikus kombináció:

• termékajánló (személyre szabás, kosárérték növelés),
• kereslet-előrejelzés és készletkockázat (túl- vagy alulkészletezés),
• ügyfélszolgálati asszisztens (rendelés, csere, számla, panasz),
• termékadat-normalizálás (attribútumok, kategóriák, kompatibilitás).

Ha egy modellt például gyorsan finomhangolsz csak ügyfélszolgálati stílusra és policy-szövegekre, könnyen romolhat:

• a modell általános következtetése (pl. több lépéses számolás),
• a korábbi, „józan” nyelvi viselkedése,
• a termékismereti összefüggések.

Ugyanez még élesebb az egészségügyben, ezért is fontos a kampány szempontjából: egy diagnosztikai vagy triázs-támogató modellnek új kórházi protokollokhoz kell alkalmazkodnia úgy, hogy közben nem felejtheti el az alapvető orvosi összefüggéseket. A tanulság átvihető: a robusztusság és a tudásmegőrzés nem extra, hanem bevezetési feltétel.

LoRA röviden: miért ennyire népszerű, és hol a csapda?

Válasz egy mondatban: a LoRA azért terjed, mert olcsón és gyorsan lehet vele nagy modelleket specializálni, de a finomhangolás így is „elviheti” a modellt rossz irányba.

A LoRA (Low-Rank Adaptation) lényege, hogy nem a teljes modellt tanítod újra, hanem egy kicsi, alacsony rangú (low-rank) kiegészítő súlymátrixot. Ezzel:

• kevesebb GPU-memória kell,
• gyorsabb a tanítás,
• könnyebb több verziót párhuzamosan fenntartani.

A csapda: attól, hogy kevés paramétert mozgatunk, a modell viselkedése még drasztikusan változhat. A felejtés nem csak akkor történik, ha „mindent átírsz”, hanem akkor is, ha kritikus irányokban módosítasz.

A kiskereskedelmi példában ez úgy jön elő, hogy a modell „túlilleszkedik” a belső policy-korpuszon, és kevésbé lesz rugalmas a valós ügyfélkérdéseknél. Az egészségügyi párhuzam pedig nyilvánvaló: protokoll-specifikus finomhangolás mellett romolhat az általános klinikai érvelés.

LaLoRA: a felejtés csökkentése paraméter-bizalom alapján

Válasz egy mondatban: a LaLoRA úgy fékezi a felejtést, hogy megbecsüli, mely paraméterek „kényesek”, és ott visszafogja a LoRA frissítéseit.

A kutatás központi ötlete a Laplace-közelítés: a módszer a veszteségfüggvény (loss) görbületéből (curvature) arra következtet, hogy a modell mennyire „magabiztos” egy adott paraméter-irányban.

Mit jelent az, hogy „nagy görbületű irány”?

Gyakorlati fordításban:

• nagy görbület: ha abba az irányba elmozdítod a súlyt, a veszteség gyorsan romlik → ott a modell „érzékeny”, valószínűleg fontos tudás kódolódik,
• kisebb görbület: lazább terület → itt több mozgást engedhetsz meg specializáláshoz.

A LaLoRA ezt a tudást regularizációvá alakítja: bünteti azokat a LoRA-súlyváltozásokat, amelyek nagy görbületű irányokba mennének. Így a modell képes tanulni az új feladatot, miközben kevésbé „felülírja” a régi képességeit.

Miért fontos, hogy csak a LoRA-súlyokra alkalmazzák?

A kutatás egyik okos döntése: a Laplace-közelítést csak a LoRA komponensekre számolják. Ez azért számít, mert így a módszer:

• könnyebb marad (nem válik egy teljes, nehézkes Bayes-i finomhangolássá),
• jobban illeszkedik a valós csapatok erőforrásaihoz,
• egyszerűbben becsatornázható meglévő LoRA pipeline-ba.

A szerzők kiemelik, hogy a tanulás–felejtés kompromisszum közvetlenül szabályozható a regularizáció erősségével. Ez üzletileg arany: nem „mágia”, hanem csúszka.

Mit jelent ez a kiskereskedelmi és e-kereskedelmi gyakorlatban?

Válasz egy mondatban: a LaLoRA-típusú megközelítés segít úgy specializálni az AI-t (pl. termékkatalógusra vagy ügyfélszolgálatra), hogy közben stabilan megmaradjanak a korábbi képességek (pl. ajánlás, érvelés, nyelvi robusztusság).

1) Személyre szabott ajánlások + ügyfélszolgálati finomhangolás együtt

Sok kereskedő ugyanazt a modellt szeretné használni:

• ajánlás előkészítésére (kérdés-felelet, preferenciák feltérképezése),
• reklamációkezelésre,
• és marketing-szövegek generálására.

A felejtés itt tipikusan úgy jön ki, hogy a finomhangolás után a modell „túl szabályzat-szagú”, és romlik a természetes párbeszéd. LaLoRA-szerű regularizációval a policy-illesztés kontrollálhatóbb: a modell tanul, de kevésbé veszít a beszélgetési rugalmasságból.

2) Kereslet-előrejelzéshez kapcsolódó döntéstámogatás

Egy LLM-et egyre többen használnak döntési narratívákra: miért javasol a rendszer több készletet egy régióba, miért kell akciót indítani, mit mutat a kosárelhagyási trend.

Itt a felejtés abban fáj, hogy a modell elfelejti a korábbi „jó” magyarázási mintákat (pl. lépésenkénti gondolatmenet, ellenőrző pontok). Ha a finomhangolás túl erős, kapsz egy gyors, magabiztos, de felületes választ. A görbület-alapú korlátozás segíthet a magyarázó készség megőrzésében.

3) Több piac, több nyelv, egy alapmodell

Magyar valóság: ugyanaz a termékkatalógus megy magyarul, szlovákul, románul; a jogi szöveg és a logisztika piac-specifikus. Ilyenkor gyakori stratégia: egy alapmodell + országonként LoRA.

A felejtés azért veszélyes, mert egy rossz finomhangolási kör után az „alap” képességek romlanak a teljes rendszerben (értés, stílus, következetesség). LaLoRA szemlélettel könnyebb megtartani egy stabil alapviselkedést, miközben piaci lokális finomítások történnek.

Egészségügyi párhuzam: miért kampány-releváns a LoRA felejtés kezelése?

Válasz egy mondatban: a felejtéscsökkentés a klinikai AI-ban biztonsági kérdés, és ugyanazok az eszközök (LoRA, regularizáció, robusztusság) kellenek hozzá, mint a kereskedelmi rendszereknél.

Két tipikus egészségügyi helyzet, ahol a tanulság azonnal ül:

• Kórházi protokollok frissítése: a modellnek alkalmazkodnia kell egy új antibiotikum-protokollhoz vagy triázs-szabályhoz, de nem ronthat a korábbi általános orvosi következtetésen.
• Telemedicina / tünetellenőrzés: új kérdőív vagy új betegpopuláció (pl. influenza-szezonban) gyors adaptációt igényel, miközben a régi tudás megőrzése kötelező.

A kiskereskedelemben ez üzleti KPI (konverzió, kosárérték, AHT az ügyfélszolgálaton). Egészségügyben viszont akár kockázatkezelés és megfelelőség is. A közös nevező: megbízható finomhangolás.

Gyakorlati bevezetési checklist: hogyan csökkentsd a felejtés kockázatát LoRA-val

Válasz egy mondatban: akkor leszel biztonságban, ha a finomhangolást nem csak „pontosságra”, hanem tudásmegőrzésre is méred és szabályozod.

1. Tarts külön „felejtés” benchmarkot.

   • Kereskedelemben: régi top ügyfélszolgálati szituációk + ajánlási párbeszédek + termékadat-kérdések.
   • Egészségügyben: alap klinikai kérdések + protokoll-ellenőrző feladatok.

2. Mérj két tengelyen: tanulás és felejtés.

   • A célfeladaton javulni könnyű. A régi feladatokon romlani még könnyebb.

3. Legyen kéznél egy „regularizációs csúszka” döntési szabálya.

   • Példa: „Amíg a régi benchmark maximum 2%-ot romlik, addig mehet az erősebb specializáció.”

4. Ne csak az adatot, a görbülethez használt mintát is gondold át.

   • A kutatás külön vizsgálja, milyen adatokon érdemes a Laplace-hez szükséges becslést készíteni. Gyakorlatban ez annyit jelent: ne kizárólag az új policy-adaton „mérd fel”, mi fontos.

5. Hyperparaméter-robosztusság: teszteld, mennyire érzékeny a beállításokra.

   • Ha egy modell csak egyetlen tanulási rátával működik, az nem termelési érettség.

Snippet-mondat, amit én gyakran mondok csapatoknak: „A finomhangolás nem sprint, hanem kockázatkezelés.”

Mit vigyél magaddal ebből a kutatásból?

A LaLoRA üzenete kifejezetten gyakorlatias: a LoRA finomhangolásnál nem elég azt kérdezni, hogy „mennyit javultunk a célfeladaton?”. Ugyanolyan súllyal kell kérdezni: „mit veszítettünk közben?”. A görbület-alapú, Laplace-közelítésre épülő regularizáció erre ad egy kézben tartható választ.

A „Mesterséges intelligencia a kiskereskedelemben és e-kereskedelemben” sorozatban ez a téma azért fontos mérföldkő, mert a személyre szabás, készletoptimalizálás és ügyfélszolgálati automatizálás csak akkor hoz stabil üzleti eredményt, ha az AI nem válik kiszámíthatatlanná minden új finomhangolás után.

Ha a csapatod 2026-ra több modellverziót, több piacot, több csatornát (webshop, app, call center) tervez, én nem hagynám ki a felejtés elleni védekezést a roadmapből. A kérdés nem az, hogy lesz-e drift és felejtés, hanem az, hogy mérni és kontrollálni fogjátok-e.