Zajos mérésekből tiszta kép: AI, ha kevés a jó adat

A legtöbb adatprojekt ott csúszik el, ahol a valóság beleszól: a „szép, tiszta” adatok ritkák és drágák, a zajos, hiányos mérések viszont dőlnek befelé. Ez különösen igaz az egészségügyben (gondolj egy alulexponált röntgenre, mozgásos MRI-re, alacsony dózisú CT-re), de ugyanez a minta köszön vissza a kiskereskedelemben is: sérült termékfotók, részleges szenzorlogok, hiányos vásárlói események, elcsúszott készletnyilvántartás.

A 2025.12.22-én friss arXiv cikk (SFBD-OMNI) pont erre a fájó pontra lő: hogyan lehet sok, zajos mintából és nagyon kevés tiszta mintából visszaállítani az „igazi” eloszlást, ha a torzítási folyamatot csak „fekete dobozként” ismerjük (azaz tudunk zajosítani, de nem feltétlenül tudjuk szépen felírni a képletét). A kulcsötlet: a problémát egyoldalú entrópikus optimális transzportként lehet megfogni, és egy EM-szerű (iteratív) eljárással megoldani.

Amiért én ezt fontosnak tartom a „Mesterséges intelligencia a kiskereskedelemben és e-kereskedelemben” sorozatban is: ugyanaz a kérdés jön elő újra és újra – mit csinálunk, ha a „ground truth” kevés, de döntést hozni mégis kell. Ha ezt a gondolkodásmódot megértjük az orvosi képalkotás példáján, meglepően jól átültethető ajánlórendszerre, kereslet-előrejelzésre vagy akár csalásdetektálásra is.

Miért pont most égető: kevés tiszta adat, sok zajos

Válasz röviden: mert a szervezetek ma már nem az adatmennyiségen, hanem az adatminőségen buknak el – és a minőség javítása a legdrágább lépés.

Egészségügyi párhuzam: „nem megismételhető” mérések

Az egészségügyben a tiszta adat gyakran azt jelenti, hogy:

• magasabb dózis (CT),
• hosszabb vizsgálati idő (MRI),
• drágább eszköz/protokoll,
• több szakértői annotáció.

Ezeknek mind van ára: pénzben, időben, betegterhelésben. A gyakorlat ezért tele van kompromisszumokkal: gyorsabb vizsgálat, kisebb dózis, kevesebb ismétlés – és ezzel több zaj.

Kiskereskedelmi párhuzam: „a valóság nem címkéz”

E-kereskedelemben a „tiszta” adat ritkán képalkotás, mégis ugyanez történik:

• a termékfotók különböző minőségűek,
• a felhasználói eseményekből hiányzik az ok (miért lépett ki),
• a készletszint késik vagy pontatlan,
• az ár- és promóciós logok félreérthetők.

A tanulság: a zajos adat nem kivétel, hanem alapállapot. A kérdés az, tud-e az AI úgy tanulni, hogy közben ne tanulja meg a hibáinkat is.

Mit állít az SFBD-OMNI, és mi benne az újdonság?

Válasz röviden: az SFBD-OMNI egy olyan „hídmodell” megközelítés, ami a torzított (zajos/hiányos) mérések eloszlását képes a valódi eloszláshoz közelíteni, még akkor is, ha csak kevés tiszta mintánk van.

A cikk három gondolatot köt össze:

1) A torzítás „fekete doboz” lehet

Nem mindig tudjuk matematikailag szépen megfogni, hogyan romlik az adat (például mozgásartefaktum MRI-ben, változó fény a termékfotóknál). Viszont sokszor tudunk mintát generálni: meg tudjuk mondani, hogy „ha ilyen a tiszta jel, ilyenféle zajos mérést látok”.

Ez a „black-box corruption generator” szemlélet praktikus: a valós rendszerekben gyakori, hogy a zaj modellje implicit (szimulátor, pipeline, mérőeszköz viselkedése), nem pedig egy képlet.

2) Egyoldalú entrópikus optimális transzport (OT)

Az optimális transzport (OT) leegyszerűsítve arról szól: hogyan „mozgatunk át” egy eloszlást egy másikba a legkisebb költséggel. Az entrópikus regularizáció pedig stabilabbá és numerikusan kezelhetőbbé teszi.

Az „egyoldalú” jelleg itt a helyzethez illik: a tiszta eloszlás a cél, de a kiindulópont a torzított mérések világa, ahol információ már elveszett.

3) EM-szerű iteráció: becslés és finomítás körökben

Az EM (Expectation-Maximization) család lényege, hogy váltogatunk:

• rejtett változók becslése (mi lehetett a tiszta jel),
• modellfrissítés (mi a legjobb leképezés, hogy ezt visszaadja).

A cikk azt sugallja: ha okosan szervezzük ezt a körkörös tanulást, akkor a „sok zajos + kevés tiszta” kombinációból is kijön használható helyreállítás.

Snippet-mondat, amit érdemes megjegyezni: Nem az a kérdés, van-e zaj, hanem az, hogy a zaj mennyi információt vesz el mintánként – és ezt tudjuk-e kompenzálni kevés tiszta példával.

Mikor „visszanyerhető” az igazság, és mikor nem?

Válasz röviden: ha a mérés mintánként túl sok információt dob el, a tiszta eloszlás önmagában nem azonosítható a zajos adatokból – de néhány tiszta minta sokszor átfordítja a helyzetet.

A cikk külön értéke, hogy nem csak algoritmust ad, hanem gondolkodási keretet is:

Recoverability teszt: diagnózis még a modell előtt

Gyakorlati nyelven ez azt jelenti: mielőtt heteket töltenénk tréninggel, meg kell válaszolni:

• a zajos megfigyelésekből elvileg rekonstruálható-e az, amit keresünk?
• vagy több különböző „valódi világ” is ugyanúgy nézne ki a mérőeszközünkön?

Ezt érdemes átültetni üzleti környezetbe is. Példa:

• Ha a vásárlói eseménylogból hiányzik a „készlet volt-e” jelzés, akkor a kosárelhagyás oka (ár vs készlet vs UX) nem biztos, hogy azonosítható.
• Ha egy termékfotó túltömörített és elmosódott, a textúra-alapú minőségellenőrzés nem biztos, hogy menthető.

A „kevés tiszta” stratégiai jelentősége

A cikk egyik legerősebb üzenete, hogy a „kevés tiszta adat” nem csak tréninganyag, hanem horgony: segít kizárni azokat a megoldásokat, amelyek matematikailag ugyan illenek a zajos adatokra, de a valóságtól elcsúsznak.

Egészségügyben ez lehet néhány magas minőségű, szakértő által ellenőrzött scan. E-kereskedelemben ez lehet:

• egy kisebb, manuálisan validált termék-attribútum készlet,
• néhány száz „arany standard” ügyfélút,
• auditált készlet-pillanatképek.

Orvosi képalkotás: mit adhat ez a gyakorlatban?

Válasz röviden: alacsony dózis/gyors protokoll mellett is jobb képi minőség, stabilabb diagnosztikai AI – kevesebb „hamis jel” és kevesebb ismétlés.

Alacsony dózisú CT és zajcsökkentés

A low-dose CT tipikus példa: a zaj nő, a részletek mosódnak, a radiológus és a diagnosztikai modell is nehezebb helyzetbe kerül.

Egy SFBD-OMNI-szerű helyreállítási megközelítés ígérete:

• sok low-dose felvétel felhasználása (könnyen gyűjthető),
• kevés standard-dose felvétel mint horgony (drága, de nem kell belőle tömeg),
• a mérési torzítás kezelése akár szimulátor/pipeline alapján.

Mozgásartefaktum MRI-ben

Mozgás miatt az MRI-n csíkok, elmosódás jelenhet meg. Ha a torzítási folyamatot tudjuk szimulálni (vagy legalább generálni tipikus romlásokat), a „hídmodell” elvileg képes lehet az eloszlások közti átjárót megtanulni, nem csak egy-egy képet „szépíteni”.

És ez fontos különbség: a diagnosztika nem egyetlen képet értékel, hanem mintázatokat, populációs eloszlásokat. A rosszul helyreállított ritka eltérés többet árt, mint a kissé zajos, de őszinte kép.

E-kereskedelem és retail: miért érdekes nekünk egy „hídmodell”?

Válasz röviden: mert a retail AI célja gyakran nem „szebb adat”, hanem jobb döntés (ajánlás, előrejelzés, készlet), és ehhez sokszor elég, ha a helyreállított eloszlás közelebb kerül a valósághoz.

1) Ajánlórendszer: események hiánya és torzulás

Ha a logolás nem egységes (pl. mobil vs web), akkor a kattintási és vásárlási eloszlások elcsúsznak. Egy „bridge” szemlélet:

• a „tiszta” világ: egységesen mért, összehasonlítható user események,
• a „korrupt” világ: platformfüggő, hiányos logok.

Ha a torzítás generálható (pl. ismert, mely események esnek ki adott SDK verzióban), a módszertani tanulság az: ne csak imputálj rekordokat, állítsd helyre az eloszlást. Ebből stabilabb ranking és személyre szabás jöhet.

2) Kereslet-előrejelzés: készlethiány mint „mérési veszteség”

A készlethiány elrejti a valódi keresletet. Amit látunk: eladások. Amit szeretnénk: kereslet.

Ez tipikus „lossy measurement”: a mérés (sales) információt veszít (cenzúráz). Itt a „kevés tiszta minta” lehet például:

• néhány pilot bolt, ahol a készletet extra sűrűn mérik,
• néhány termék, ahol backorder/preorder adatokból közelebb kerülünk a valós kereslethez.

3) Termékadat-minőség: képek és attribútumok

Sérült képek, rossz kategóriacímkék, hiányos attribútumok. Ha van egy kevés, auditált katalógus-részlet, az „horgonyként” működik. A cél nem az, hogy minden kép tökéletes legyen, hanem hogy:

• a kereső relevanciája nőjön,
• a hasonló termék ajánlás javuljon,
• a visszaküldési arány csökkenjen.

Hogyan indulj el: gyakorlati lépések „kevés tiszta adat” mellett

Válasz röviden: először mérd fel a visszanyerhetőséget, utána építs „aranymintát”, és csak ezután skálázz zajos adatra.

1. Írd le a torzítási folyamatot üzleti nyelven.

   • Egészségügy: mely protokollok, milyen artefaktumok.
   • Retail: hol hiányzik esemény, hol csúszik készlet, hol romlik kép.

2. Készíts kis, de kőkemény „tiszta” készletet.

   • Ne legyen nagy. Legyen megbízható.
   • Legyen reprezentatív a kritikus esetekre (ritka eltérések, csúcsidőszak, karácsonyi szezonális terhelés).

3. Futtass recoverability jellegű sanity checkeket.

   • Ha több különböző „valóság” ugyanazt a zajos mintát adja, akkor a modell csak kitalál.
   • Ilyenkor nem modell kell először, hanem plusz jel (új szenzor, jobb logolás, plusz metaadat).

4. Optimalizálj a döntésre, ne a szépségre.

   • Orvosi kép: a diagnosztikai pontosság és kalibráció legyen a cél.
   • Retail: AUC/precision mellett nézd a készletkockázatot, marginhatást, visszaküldést.

5. Vezess be monitorozást a helyreállított eloszlásra.

   • Drift, szezonális változás (decemberben ez különösen brutális).
   • Bias: ne „simítsd el” a ritka, de fontos eseteket.

Zárás: a jobb AI-hoz néha nem több adat kell, hanem jobb horgony

A SFBD-OMNI üzenete nekem nagyon vállalhatóan pragmatikus: a sok zajos adat önmagában nem garancia semmire, viszont egy jól megválasztott, kicsi tiszta mintakészlet képes „iránytűként” viselkedni. Ez az egészségügyben betegbiztonsági kérdés, retailben pedig pénzben mérhető.

Ha a csapatod ajánlórendszeren, kereslet-előrejelzésen vagy katalógus-minőségen dolgozik, érdemes átvenni ezt a gondolkodást: ne csak adatot tisztíts, modellezd a torzulást, és tedd mérhetővé, mi az, ami egyáltalán visszanyerhető.

A következő lépés nálatok mi lenne: melyik egyetlen mérési torzulás okozza most a legnagyobb üzleti kárt – és milyen „kevés, de tiszta” mintával lehetne ezt a leggyorsabban megfogni?