Gyorsabb AI-modellek: marginalizálás trükkje „négyzet nélkül”

A legtöbb vállalat ott veszít időt és pénzt az AI-projekteknél, ahol nem is keresi: a valószínűségi számítások (például a hiányzó adatok kezelése, részösszegek, bizonytalanság) túl drágák lesznek, ezért a modell vagy „okos”, vagy „gyors” – ritkán mindkettő. Pedig a termelési környezetben (kórházi diagnosztika, kasszarendszer, raktároptimalizálás) a késleltetés és a költség nem mellékes.

Egy friss, 2025.12.18-án benyújtott kutatás azt mutatja meg, hogyan lehet „négyzetelt” tensorhálókat és számítási gráfokat (circuitöket) úgy kezelni, mintha négyzetelnénk őket – anélkül, hogy ténylegesen megdupláznánk a számítási terhet. A téma elsőre elméletinek hangzik, de a következmények nagyon gyakorlatiak: gyorsabb marginalizálás, stabilabb tanulás, és hatékonyabb valószínűségi becslés.

A posztot a „Mesterséges intelligencia a kiskereskedelemben és e-kereskedelemben” sorozat kontextusában írom, de szándékosan ráhúzom az egészségügyi párhuzamot is: ugyanaz a számítási spórolás, ami gyorsít egy ajánlórendszert, lerövidíthet egy képalkotó AI-analízist vagy csökkentheti a diagnosztikai pipeline költségét.

Miért fáj a „négyzetelés” a gyakorlatban?

Válasz röviden: mert a „négyzetelés” (squared modellek) gyakran megduplázza a belső struktúrát, és ezzel a partíciós függvény és a marginalizálás számítási költsége elszáll.

A négyzetelt modellek mögötti intuíció egyszerű: ha egy modell egy „amplitúdót” számol, akkor annak a négyzete természetes módon adhat nemnegatív valószínűséget. A gond az, hogy a négyzetelés nem csak annyi, hogy „a végén négyzetre emelem”. Sok konstrukcióban a négyzetelés azt jelenti, hogy a gráf/ háló két példányban fut, össze van kötve, és ettől nő:

• a csomópontok száma
• az összeköttetések száma
• a marginalizáláshoz szükséges „összegzés” bonyolultsága

A valós alkalmazásokban a marginalizálás mindenhol ott van:

• Kiskereskedelem/e-kereskedelem: hiányzó események (pl. nem látjuk minden csatornán a vásárlót), kosár- és keresletmodellek, bizonytalansággal adott előrejelzés.
• Egészségügy: hiányzó klinikai változók, többféle vizsgálat eltérő elérhetősége, diagnosztikai bizonytalanság számszerűsítése.

Ha a modell marginalizálása lassú, a csapatok tipikusan két dolgot csinálnak: vagy levágják a modellt (pontosság esik), vagy átállnak mintavételezésre (lassú és instabil). Szerintem egyik sem jó alap egy lead-et hozó, üzletileg is skálázható AI-termékhez.

Tensorhálók és „circuitök”: ugyanaz a probléma, két nyelven

Válasz röviden: tensorháló (TN) inkább matematikai „hálós” forma, a circuit pedig általánosabb számítási gráf, amivel sokféle faktorizációt ki lehet fejezni – köztük olyat is, ami nem illeszkedik kényelmesen TN-formára.

A kutatás kiindulópontja, hogy a négyzetelt tensorhálók már régóta ígéretesek valószínűségi modellezésre: egyszerre lehetnek kifejezőek és bizonyos feltételek mellett tractable-ek (zárt alakú részösszegek, margók).

A gond ott kezdődik, hogy a modern ML-ben a gyakorlati implementáció sokszor nem tiszta TN, hanem egy circuit jellegű faktorizáció:

• kompozit hálók, ahol vannak determinisztikus ágak
• hibrid struktúrák (pl. logikai feltételek + folytonos komponensek)
• olyan topológiák, amik „nem TN-szerűek”, de programozhatóak és jól illeszkednek pipeline-okba

Ezért fontos a paper állítása: nem elég TN-ekre megadni a „könnyű marginalizálást” biztosító kanonikus formákat, ezt circuitökre is ki kell terjeszteni.

A paper lényege: „négyzetelt circuit” marginalizálása extra költség nélkül

Válasz röviden: a szerzők olyan paraméterezési feltételeket adnak squared circuitökre, amelyek mellett a marginalizálás nem kapja meg a „négyzetelés büntetését”, miközben a modell kifejezőereje nem csökken.

A TN-világban a tractability egyik klasszikus kulcsa a kanonikus forma és az ehhez kapcsolódó ortogonalitás (gyakorlatiasan: jól kondicionált, „szépen szétválasztható” komponensek). Ezt gyakran unitér mátrixokkal paraméterezik, ami numerikusan is stabil.

A circuit-világban viszont létezik egy másik „trükk”: a determinizmus, ami azért hasznos, mert bizonyos műveletek (pl. maxolás, ág-választás) tractable-k lesznek.

A kutatás érdekes húzása, hogy ezt a két gondolatot összehozza:

• TN-ekből: ortogonalitás-szerű feltételek (stabil, tractable összegzés)
• circuitökből: struktúra-független paraméterezés, ami nem kényszerít rá TN-re

Az eredmény egy olyan squared circuit paraméterezés, ahol a modell „úgy viselkedik”, mintha kanonikus TN lenne a marginalizálás szempontjából, még akkor is, ha a faktorizáció nem feleltethető meg egy ismert TN-topológiának.

Egy mondatban: a „négyzetelt” kifejezőerőt megtartják, de a számítási overheaddel nem fizettetnek meg.

Miért számít ez egy termékben?

Válasz röviden: mert a marginalizálás gyorsulása közvetlenül jelent alacsonyabb inference költséget, rövidebb késleltetést és jobb skálázást.

Gyakorlati következmények, amiket én termékoldalon a legfontosabbnak tartok:

1. Valós idejűbb döntések: ha egy modell per-kérés margót számol (pl. hiányzó jellemzők mellett), a gyorsítás azonnal látszik.
2. Stabilabb tanulás: a paraméterezés sokszor implicit regularizációként is viselkedik (kevesebb numerikus „elszállás”).
3. Jobb bizonytalanságkezelés: a tractable margók miatt könnyebb kalibrált valószínűségeket adni, nem csak pontbecslést.

Kiskereskedelmi és e-kereskedelmi példa: ajánlás hiányos jelekből

Válasz röviden: a squared circuit jellegű modellek akkor erősek, amikor sok a hiányzó jel (cookie-vesztés, csatornasziló), és mégis gyors, zárt alakú részösszeg kell.

Vegyünk egy tipikus 2025-ös helyzetet: a vásárlói út fragmentált. Egy felhasználóról látod:

• néhány termékoldalt
• egy kosárba rakást
• de nincs teljes session, nincs minden eszköz összekötve

Ha egy generatív, valószínűségi modell képes gyorsan marginalizálni a hiányzó eseményeket, akkor:

• jobb lesz az ajánlás (nem „bünteti” a hiányzó adatot)
• pontosabb lehet a kereslet-előrejelzés (jobb bizonytalansági sáv)
• robusztusabb a készletoptimalizálás (kevesebb túl- és alulkészletezés)

A paper szellemisége itt az, hogy ne kényszerítsd a faktorizációt egyetlen „szép” matematikai formába (TN), ha a rendszered circuitként amúgy is kényelmesebb. Inkább olyan feltételeket keress, amelyek mellett a marginalizálás tractable marad.

Mit érdemes a csapatodnak feltennie kérdésként?

• Hol számolunk ma mintavételezéssel csak azért, mert a zárt alak túl drága?
• Mely pipeline-lépések „égetik” a költségvetést: tanítás, validáció, vagy inference?
• Van-e olyan pont, ahol a kalibrált valószínűség üzletileg értékesebb, mint egyetlen score?

Ha ezek közül bármelyikre igen a válasz, a tractable marginalizálás nem elméleti luxus, hanem költségcsökkentés.

Egészségügyi párhuzam: gyorsabb képalkotó AI és diagnosztikai bizonytalanság

Válasz röviden: az egészségügyben az AI-nak gyakran nem csak „jó tippet” kell adnia, hanem bizonytalanságot is, ráadásul szigorú idő- és erőforrás-korlátok mellett.

Képalkotásnál (CT, MRI, röntgen) a modern rendszerek sokszor ensemble-ökkel vagy Bayes-jellegű közelítésekkel próbálnak bizonytalanságot adni. Ez drága. Ha egy modell család (például squared circuit jellegű) gyorsan tud marginalizálni, akkor könnyebb:

• hiányzó metaadatok (életkor, kórelőzmény) mellett is működni
• a kimenetet valószínűségi formában adni (triázs, priorizálás)
• edge-környezetben futni (kisebb kórház, mobil diagnosztika)

A kiskereskedelemben a késleltetés „csak” konverzió. Az egészségügyben időnként percek. Én ezért szeretem az ilyen jellegű optimalizációs kutatásokat: nem látványosak, de a rendszer egészét teszik használhatóvá.

Mit vigyél haza ebből: gyakorlati ellenőrzőlista

Válasz röviden: ha valószínűségi modelleket használsz, és a marginalizálás költsége visszafog, érdemes a modelledet úgy tervezni, hogy a tractability „be legyen drótozva” a paraméterezésbe.

Konkrét, csapat-szintű lépések:

1. Mérd meg a marginalizálás költségét külön. Ne csak a teljes inference időt nézd.
2. Azonosítsd a „négyzetelési büntetést”. Van-e olyan modellrész, ahol a belső méret duplázódik (csomópont, él, tenzor dimenzió)?
3. Preferáld a struktúra-kompatibilis megoldásokat. Ha a rendszered circuitként kényelmes, ne erőltesd TN-be, inkább keress olyan feltételeket, amik a circuitben adnak tractability-t.
4. Kérj kalibrációt, ne csak pontosságot. Egészségügyben és készletoptimalizálásban ez nem „nice to have”.
5. Tervezz a termelésre: edge, on-prem, adatvédelmi korlátok. A gyors margók itt pénzt és időt mentenek.

Merre tovább a sorozatban?

A „Mesterséges intelligencia a kiskereskedelemben és e-kereskedelemben” sorozatban sokat beszélünk ajánlásról, kereslet-előrejelzésről, készletkezelésről. Ezeknek a rendszereknek a közös fájdalma, hogy a bizonytalanságot kezelni drága, ezért sok csapat inkább elrejti a problémát egyetlen score mögé.

Ez a friss irány azt üzeni: a modellek kifejezőereje mellett legalább ilyen fontos, hogy a részösszegek és margók számítása tractable legyen. Ha ezt okosan paraméterezed, nem a hardveren kell „túlóráztatni” a rendszert.

Ha most építesz vagy modernizálsz ajánlórendszert, diagnosztikai döntéstámogatást vagy készletoptimalizálót, én egy kérdést tennék fel a végén: hol fizetsz ma a bizonytalanságért túl nagy árat – és mennyit érne, ha ugyanaz a modell gyorsabban adna margókat?