Multimodális AI az egészségügyben: jobb diagnózis

A kórházakban ma is rengeteg döntés születik úgy, hogy az információk több „dobozban” vannak: a radiológiai kép egy rendszerben, a lelet szövege egy másikban, a vitális jelek egy harmadikban, a beteg által elmondott panasz pedig sokszor csak egy rövid megjegyzésben. Pedig a klinikai valóság nem így működik. Az orvos fejében a CT-kép, a labor, a kórelőzmény és az ápolási megfigyelések egyszerre állnak össze egy történetté.

Pont ezért lett 2025 végére az egyik legizgalmasabb alaptechnológia az úgynevezett multimodális reprezentációtanulás és fúzió: az a megközelítés, amikor a mesterséges intelligencia nem csak egyféle adatból (például képből) tanul, hanem több forrást kapcsol össze (kép + szöveg + hang + szenzor). A csavar az, hogy ez nem „szép extra”, hanem gyakran a diagnosztikai pontosság és a klinikai használhatóság feltétele.

Ebben a cikkben a multimodális tanulás fő építőköveit (reprezentáció, illesztés/alignment, fúzió) lefordítom egészségügyi nyelvre, megmutatom, hol hoz ez kézzelfogható előnyt (képalkotás, triázs, telemedicina), és azt is, miért csúszik el sok projekt a valós bevezetésnél.

Miért multimodális az egészségügy – és miért most lett ez sürgős?

Válasz röviden: mert a betegellátás többféle jelből áll össze, és a monomodális AI (csak kép vagy csak szöveg) sok esetben „félig vak”.

A radiológiában például egy mellkasröntgen értelmezése gyakran attól függ, hogy a betegnek van-e láza, milyen a CRP, volt-e friss műtét, dohányzik-e, és mi szerepel a kórelőzményben. Egy kép-alapú modell erre nem lát rá. Egy szöveg-alapú modell viszont nem „látja” a képet.

2025-ben különösen aktuális ez a téma, mert egyszerre nő:

• a képalkotó vizsgálatok mennyisége (CT/MR/ultrahang terhelés),
• az EESZT és kórházi rendszerek adatgazdagsága,
• az otthoni mérőeszközök (vérnyomás, pulzus, EKG) és telemedicina adatai,
• és közben a cél ugyanaz: gyorsabb döntés, kevesebb tévedés, jobb betegút.

A multimodális AI ebben nem „még egy modell”. Inkább egy olyan alap, amire diagnózistámogatás, működésoptimalizálás és távellátás is építhető.

A három alapkő: reprezentáció, alignment és fúzió

Válasz röviden: a jó multimodális rendszer először közös „nyelvet” tanul az adatoknak, aztán összepárosítja a megfelelő részeket, végül okosan összegyúrja őket.

A kutatási összefoglalókban (például a mostani arXiv-áttekintésben) ez a három fogalom újra és újra előjön. Nem véletlenül: a valós egészségügyi projektjeimben is itt dől el, hogy lesz-e működő pilot vagy csak szép demó.

Reprezentációtanulás: közös kód a képeknek és a szövegnek

A reprezentáció azt jelenti, hogy a modell megtanulja az adat „lényegét” tömör jellemzők formájában. Egészségügyi példával:

• egy mellkas-CT-ből nem pixeleket akarunk tárolni, hanem olyan jellemzőket, mint „kétoldali beszűrődések mintázata”, „pleurális folyadék”, „nodulusok eloszlása”,
• egy leletből pedig nem karaktereket, hanem olyan fogalmi elemeket, mint „atelectasia gyanú”, „Pneumonia vs. pangás”, „kontroll javasolt 6 hét”.

A multimodális reprezentáció célja, hogy ezek egy közös, összevethető térben legyenek. Ez azért fontos, mert így a rendszer képes lesz összekapcsolni a képet a releváns szövegrésszel.

Alignment: a megfelelő információk összeillesztése

Az alignment (illesztés) lényege: a modell megtanulja, melyik képrészlet felel meg a lelet melyik mondatának, vagy melyik labor-eltérés melyik képjellemzővel jár együtt.

Ez klinikailag azért kritikus, mert így jön létre:

• magyarázhatóság (miért ezt javasolta a rendszer),
• hibakereshetőség (hol csúszott el),
• és sokszor a bizalom is, amitől egy osztályvezető azt mondja: „oké, próbáljuk ki”.

Egy jó alignment képes arra, hogy például a „jobb alsó lebenyben gócos fedettség” mondatot a képen ténylegesen a jobb alsó mezőhöz kösse, ne csak „valahova a tüdőhöz”.

Fúzió: mikor és hogyan keverjük össze a modalitásokat?

A fúzió a gyakorlati döntés: hol találkozzon a kép, a szöveg és a szenzoradat a modellben?

Három tipikus megoldás:

1. Korai fúzió: már a bemeneten összerakjuk az adatokat (gyors, de kényes az eltérő formátumokra).
2. Késői fúzió: külön modellek hoznak rész-eredményt, majd a végén kombinálunk (robosztusabb, de könnyen „szavazógép” lesz belőle).
3. Köztes fúzió (gyakran a leghasznosabb): több rétegben, több ponton találkoznak a jelek (bonyolultabb, viszont jól skálázódik klinikai logikára).

Az én álláspontom: egészségügyben a köztes vagy késői fúzió sokszor jobb kiindulás, mert a valós adat hiányos és aszimmetrikus. Nem mindig van friss kép, nem mindig van értelmes szöveg, és a szenzoradatok minősége is ingadozik.

Konkrét egészségügyi use case-ek: hol ad azonnali előnyt a multimodális AI?

Válasz röviden: ott, ahol az orvos is több forrásból dönt – képalkotásban, sürgősségi triázsban és telemedicinában.

Képalkotás + lelet: kevesebb félreértés, jobb prioritás

A multimodális diagnózistámogatás egyik legerősebb ígérete, hogy a rendszer nem csak „talál” valamit a képen, hanem kontextusba teszi:

• Ha a képen enyhe pangás látszik, de a kórelőzményben szerepel szívelégtelenség és magas BNP (ha elérhető), a gyanú erősödik.
• Ha hasonló kép látszik, de a beteg lázas, és a leletben produktív köhögés szerepel, a pneumonia valószínűbb.

Ez nem helyettesíti az orvost, hanem csökkenti a „kép alapján félremegyünk” típusú hibákat.

Sürgősségi triázs: amikor minden perc számít

A sürgősségin az információk 20 perc alatt is jöhetnek:

• rövid panaszleírás,
• vitális jelek,
• gyorslabor,
• egy EKG,
• esetleg egy natív CT.

Multimodális modellel reális cél a korai kockázatbecslés és a vizsgálatok sorrendjének támogatása. Nem kell tökéletes diagnózist adnia. Elég, ha megbízhatóan jelzi: „ennek a betegnek magasabb a kockázata, ne várjon a folyosón”.

Telemedicina és otthoni monitoring: zajos adatokból értelmes jel

Telemedicinában az egyik legnagyobb probléma a kontextushiány: a beteg elküld egy fotót, mellé ír két mondatot, és van néhány mérés az okoseszközről. Multimodális AI-val összeállhat egy egységes kép:

• kép (seb, bőrelváltozás, ödéma),
• szöveg (panasz, gyógyszerszedés),
• szenzor (pulzus, SpO2, vérnyomás).

Itt a fúzió igazi értéke a távdöntés támogatása: kell-e azonnali ellátás, elég-e kontroll, vagy adható-e célzott tanács.

A nehéz részek, amikről kevesebbet beszélünk: hiányzó adatok, támadások, értékelés

Válasz röviden: a multimodális AI ott bukik el, ahol a klinikai adat piszkos, hiányos, és a mérőszámok nem tükrözik a valós kockázatot.

Hiányzó vagy „félkész” modalitások kezelése

Valós környezetben tipikus, hogy:

• a lelet késik,
• a vizsgálat minősége gyenge,
• az anamnézis rövid,
• a beteg adatai nem érkeznek meg időben.

Egy bevezethető rendszernek tudnia kell elegánsan romlani: ha nincs szöveg, működjön képből; ha nincs kép, adjon óvatos becslést más jelekből. Ez tervezési kérdés, nem utólagos toldás.

Adverzáriális kockázatok: nem sci-fi, hanem minőségbiztosítás

Az „adverzáriális támadás” egészségügyi megfelelője sokszor egyszerűbb:

• rossz kalibrációjú eszköz,
• tömörített kép,
• eltérő protokoll,
• hibás DICOM metaadat,
• sablonos, félrevezető leletszöveg.

A multimodális modelleknek ezekre ellenállóbbnak kell lenniük, különben egy intézményváltásnál összeomlik a teljesítmény.

Benchmarkok és metrikák: ne csak AUC-ot nézzünk

A csapatok hajlamosak egyetlen számra optimalizálni. Klinikán ez kevés. Én minimum az alábbiakat kérem egy pilot előtt:

• kalibráció (a 80% tényleg 80%?),
• szenzitivitás a kritikus esetekre külön,
• modalitás-robosztusság (mi történik, ha hiányzik a szöveg?),
• alcsoportra bontott teljesítmény (életkor, nem, eszköztípus, osztály).

Ezek nélkül könnyű „papíron jó” modellt gyártani, amit senki nem mer élesben használni.

Gyakorlati útmutató: hogyan indulj el multimodális AI-projekttel a kórházban?

Válasz röviden: először a klinikai döntést írd le, utána az adatfolyamot, és csak ezután válassz fúziós architektúrát.

Ha leadeket és valódi bevezetést célzol (nem csak konferencia-prezentációt), ez a sorrend működik:

1. Egyetlen, szűk döntési pont kiválasztása. Például: mellkasröntgen priorizálás sürgősségin.
2. Modalitások listája és elérhetősége. Mi van ténylegesen ott 10 percen belül? Kép? Rövid triázs-szöveg? SpO2?
3. Adatminőség-szabályok. Mit dobsz ki, mit javítasz, mit jelölsz „bizonytalan”-nak?
4. Fúziós stratégia prototípus. Késői vagy köztes fúzióval indulj, mert jobban kezeli a hiányt.
5. Klinikai validációs terv. Nem csak offline, hanem workflow-ban: mikor látja az orvos, hogyan ad visszajelzést?

Egy mondatban: a multimodális AI sikere nem a modell rétegszámán múlik, hanem azon, hogy a klinikai folyamatba be tud-e ülni anélkül, hogy szétverné a napirendet.

Merre tart 2026-ban a multimodális AI az egészségügyben?

Válasz röviden: az önfelügyelt (unsupervised) és félig felügyelt (semi-supervised) tanulás, az AutoML és a közös értékelési keretrendszerek viszik előre a területet.

Az egészségügyi adat címkézése drága: radiológus idő, bizottsági jóváhagyás, adatvédelem. Emiatt a következő hullám nálunk is az lesz, hogy a modellek kevesebb kézi címkével tanulnak, és jobban általánosítanak intézmények között.

A másik trend, amit 2025 decemberében már nagyon sok csapat keres: egységes, összehasonlítható mérés. Ha két beszállító ugyanarra az esetre mást mond, kell egy közös nyelv, hogy eldöntsük, ki téved és miért.

A „Mesterséges intelligencia az egészségügyben” sorozatban én ezt a témát alapnak tekintem: ha megtanuljuk jól összerakni a képet, a szöveget és a szenzort, akkor a diagnózistámogatás és a telemedicina is sokkal stabilabb lesz.

A következő lépés nálad mi? Olyan folyamatot keresel, ahol a képalkotás, a leletek és a betegadatok tényleg együtt döntik el a teendőt – és ahol egy jól megtervezett multimodális fúzió már 8–12 hét alatt értelmes pilotot ad?