AI-biztonság a genetikában: rejtett támadási pontok

A klinikai genetikai leletek egyik „csendes” motorja ma már a gépi tanulás: egyre több csapat használ genomikai alapmodelleket (például ESM-alapú megoldásokat) arra, hogy egy-egy variáns várható hatását gyorsabban és következetesebben megbecsülje. Ez jó hír, mert a várólisták nem rövidülnek maguktól.

A rossz hír viszont az, hogy a legtöbb szervezet még mindig úgy gondol az AI-ra, mint egy statikus eszközre: betanítjuk, validáljuk, aztán „kész”. A valóságban a klinikai döntéstámogatásba épített modellek támadási felületet jelentenek. És nem csak klasszikus adatmanipulációról beszélünk, hanem egy jóval alattomosabb módszerről: soft prompt (puha prompt) támadásokról.

Egy friss, 2025.12.22-én publikált kutatás egy konkrét üzenetet tesz le az asztalra: a mai, erősnek tartott genomikai foundation modellek (például ESM2) mérhetően sérülékenyek célzott soft prompt manipulációkkal szemben. A tanulság számomra egyszerű: AI-t orvosi környezetbe csak úgy szabad bevinni, ha a biztonsági audit ugyanolyan rutin, mint a klinikai validáció.

Mit jelent a soft prompt támadás, és miért veszélyes klinikán?

A soft prompt támadás lényege: nem a modellt „hekkeljük meg” klasszikus értelemben, és nem is a tanítóadatot piszkáljuk. Ehelyett a modell bemenetéhez (vagy annak beágyazási teréhez) adunk hozzá egy olyan tanulható, finom perturbációt, ami látszólag ártalmatlan, mégis képes eltolni a predikciót.

Puha prompt vs. „hagyományos” prompt

• A hagyományos prompt szöveg vagy strukturált instrukció: látod, el tudod olvasni, és gyakran észreveszed, ha gyanús.
• A soft prompt ezzel szemben tipikusan vektortérbeli kiegészítés (embedding-szintű „rásegítés”). Emberi szemmel sokszor nem értelmezhető, mégis hat.

Genetikai/fehérje variánsbecslésnél ez azért különösen kényes, mert a pipeline végén gyakran olyan döntések születnek, mint:

• mely variáns kerüljön további manuális kurálásra,
• melyik gén/variáns legyen prioritás a betegpanelben,
• mely eseteknél kell gyorsított konzílium,
• hogyan alakul a benign vs. pathogenic kockázati jelzés.

A soft prompt támadás „nyeresége” támadói oldalról nem feltétlen az, hogy mindent összeomlasszon. Elég, ha kicsit és következetesen torzít.

Egy orvosi AI-nál a legveszélyesebb hiba nem a látványos összeomlás, hanem a stabilan rossz irányba húzó, nehezen észrevehető torzulás.

Mit ad hozzá a kutatás: SAGE, az ügynök-alapú kockázati audit

A tanulmány egy SAGE nevű keretrendszert mutat be (Secure Agentic Genomic Evaluator), ami ügynök-alapú módon képes automatikusan auditálni a genomikai foundation modellek sérülékenységeit.

Ami nekem ebben igazán erős: nem egy egyszeri „pentest-jellegű” vizsgálatról beszélünk, hanem egy ismételhető, interpretálható audit ciklusról, amely:

1. soft prompt perturbációkat injektál (célzottan),
2. monitorozza a modell viselkedését akár több tréning-checkpointon át,
3. kockázati metrikákat számol (például AUROC, AUPR),
4. strukturált riportot készít, és narratív magyarázatot is ad (LLM-alapú szöveges összefoglalóval).

Miért fontos az, hogy „a modell módosítása nélkül” működik?

Egészségügyben a modellhez való hozzányúlás sokszor lassú, drága és szabályozott.

A SAGE megközelítésének gyakorlati előnye, hogy nem kéri, hogy átírd a modellt. Inkább úgy viselkedik, mint egy biztonsági monitor és tesztkeret, ami a meglévő rendszert stresszeli és méri.

Ez a „ne nyúlj a maghoz, auditáld körbe” szemlélet kifejezetten kompatibilis:

• kórházi beszerzésekkel,
• validált pipeline-okkal,
• ISO/IEC 27001 vagy egészségügyi kiberbiztonsági megfelelésekkel,
• és azzal a realitással, hogy sokszor vendor-modell fut, nem saját.

Mit találtak: az ESM2 is érzékeny a célzott támadásokra

A kutatás kulcseredménye, hogy még a modern, erősnek számító genomikai alapmodellek (például ESM2) is mérhető teljesítményromlást mutatnak célzott soft prompt támadások hatására.

A cikk a romlást olyan metrikákkal írja le, mint:

• AUROC (osztályozási szeparáció minősége),
• AUPR (különösen hasznos, ha ritka a pozitív eset – klinikában ez gyakori).

A részletek felől nézve a legijesztőbb nem az, hogy „le lehet rontani a pontszámot”. Hanem az, hogy a romlás rejtve maradhat, ha csak a szokásos validációs eljárásaid vannak.

Hogyan néz ki ez a valóságban egy kórházi workflow-ban?

Képzelj el egy triázs jellegű rendszert, ami a beérkező WES/WGS esetekben rangsorolja a variánsokat. A soft prompt támadás eredménye lehet például:

• a valóban kóroki variánsok hátrébb csúsznak a listán,
• a jóindulatú variánsok indokolatlanul előre jönnek,
• bizonyos gének vagy variánstípusok szisztematikusan alul-/felülértékelődnek.

Ezek mind olyan hibák, amik nem feltétlenül produkálnak azonnali „piros lámpát”, mégis időveszteséget, félretriázst, és rossz klinikai prioritásokat okozhatnak.

Biosecurity és egészségügyi AI: miért lett ez 2025 végére központi téma?

A biosecurity (biológiai biztonság) azért kerül egyre gyakrabban egy mondatba az AI-val, mert a genomikai/proteomikai modellek:

• érzékeny tudást sűrítenek,
• kritikus döntéseket támogatnak,
• és az ellátásban „könnyen továbbgyűrűző” hatásuk van.

A támadási logika a kiberbiztonság klasszikus mintáit követi: ahol érték van, ott megjelenik a motiváció. Egészségügyben az érték lehet:

• betegadat, diagnózis, biztosítói döntés,
• klinikai kutatás eredménye,
• vagy akár ellátási kapacitás (mit vesz fel a rendszer sürgősséggel).

Ha a szervezet már használ AI diagnosztikát (képalkotásban, laborban, genomikában), akkor a kérdés nem az, hogy „lesz-e kockázat”, hanem az, hogy mikor veszed észre.

Gyakorlati útmutató: hogyan auditáld a variánsbecslő AI-t a saját környezetedben?

A legjobb lépés nem az, hogy pánikolsz, hanem az, hogy beépíted az auditot a működésbe. Én így közelíteném meg egy magyar egészségügyi vagy medtech csapatnál.

1) Tedd külön a klinikai validációt és az adversarial auditot

A klinikai validáció azt méri: „átlagosan jól működik-e?”.

Az adversarial audit azt méri: „hogyan romlik el, ha valaki szándékosan nyomja a gyenge pontokat?”.

A kettő nem helyettesíti egymást.

2) Definiálj fenyegetési modellt (igen, papíron is)

Legalább erre válaszolj:

• Ki fér hozzá a bemenetekhez (labor, külső partner, integrációs API, kutatói hozzáférés)?
• Hol lehet „prompt-szerű” beavatkozás (embedding pipeline, preprocessor, konfiguráció)?
• Mi a támadó célja: pontosságromlás, egyes gének torzítása, bizonytalanság növelése?

3) Mérj olyan metrikát, ami klinikailag fáj

Az AUROC jó, de nem elég. Genetikában gyakran a kérdés: a top 10-ben benne van-e a releváns variáns?.

Javasolt mérési pontok:

• top-k találati arány (top-5/top-10),
• AUPR ritka pozitívoknál,
• kalibráció (a 0,8 tényleg 80% körüli?),
• drift: hogyan változik a teljesítmény időben és checkpointok közt.

4) Állíts be „folyamatos auditot”, ne éves tűzoltást

A SAGE egyik legjobb üzenete, hogy az audit lehet ciklikus és automatizált. Egy működő kompromisszum:

• heti futás nem kell mindenkinek,
• de egy havi adversarial regressziós teszt reális,
• release előtt pedig kötelező.

5) Döntsd el előre: mi számít incidensnek

Példa incidens-küszöbök (csak iránymutatás):

• AUPR csökkenés egy előre rögzített értéknél nagyobb mértékben,
• bizonyos betegcsoportnál kiugró romlás,
• top-10 találati arány tartós esése.

Ha nincs incidensdefiníció, a riport csak „érdekes PDF” marad.

Rövid Q&A: amit a legtöbben feltesznek a folyosón

„Ez érinti a képalkotó AI-t is, vagy csak a genomikát?”

A módszertan logikája szélesebb: ahol embedding-tér és bemeneti kontroll van, ott lehet hasonló támadási minta. A genomika itt azért előtér, mert a modellek nagyon komplexek, a hibák pedig nehezen észrevehetők.

„Ha nincs ellenségünk, akkor ez nem túlzás?”

Az egészségügyben gyakori a „nincs célkeresztben” gondolat. A valóságban elég egy rosszul konfigurált integráció, egy beszállítói csatorna, vagy egy nem szándékos belső hiba, ami „támadásként” viselkedik. A kockázatkezelés nem bizalmi kérdés.

„Mit nyerünk az ügynök-alapú riportolással?”

Időt. A biztonsági és klinikai csapatok között mindig van fordítási veszteség. Ha a rendszer strukturáltan adja a metrikákat és a narratív magyarázatot, gyorsabb a triázs: mi kritikus, mi zaj.

Mit érdemes most megtenned, ha AI-t használsz variánsértelmezésre?

A tanulmány üzenete nekem egy mondatban: a genomikai AI-modellek védelme nem opcionális extra, hanem a klinikai minőség része.

Ha a szervezeted AI-t használ diagnosztikában vagy döntéstámogatásban (különösen genomikában/proteomikában), akkor három gyors, pragmatikus lépés:

1. Készíts fenyegetési modellt a variánsbecslő pipeline-ra.
2. Vezess be adversarial auditot (akár egy minimál verzióval: soft prompt jellegű stressztesztek + AUROC/AUPR + top-k).
3. Kösd az eredményt döntéshez: incidens-küszöb, rollback, újravalidáció.

A „Mesterséges intelligencia az egészségügyben” sorozatban gyakran beszélünk arról, hogyan gyorsítja az AI a diagnózist és hogyan tehermentesíti a szakembereket. 2025 végére egyre világosabb: ugyanilyen fontos az is, hogy a rendszer akkor is megbízható maradjon, amikor nyomás alá kerül – akár szándékosan, akár véletlenül.

Ha most kellene egyetlen mondatot kiraknom a csapat falára, ez lenne: „A pontosságot validálni kell, a robusztusságot auditálni.”

Te hol tartasz: a klinikai AI-rendszereidnél van már definiált adversarial audit, vagy még mindig csak a klasszikus validációra támaszkodsz?