AI kézírásfelismerés: kézirattól a kórlapig

A 4,9%-os karakterhiba-arány (CER) nem hangzik látványosnak — amíg nem gondolsz bele, mit jelent a gyakorlatban: egy kézzel írt, foltos, ferde sorokkal teli dokumentumból a modell átlagosan kb. 95 karaktert eltalál 100-ból. Egy friss arXiv-tanulmány pontosan ezt érte el ó-nepáli kéziratokon egy teljes, végponttól végpontig felépített HTR (Handwritten Text Recognition) folyamattal.

Engem azért fogott meg ez a sztori, mert ugyanaz a probléma jön szembe itthon is, csak más díszletben. A múzeumi raktárban pergamenlap, a kórházi archívumban papírkórlap. A lényeg ugyanaz: értékes információ van a dokumentumokban, csak nem kereshető, nem elemezhető, nem tanítható belőle.

És itt csatlakozik ez a téma a „Mesterséges intelligencia az oktatásban és EdTech területen” sorozatunkhoz is: ha az AI megtanul „olvasni” nehezen értelmezhető kézírást, akkor nemcsak digitalizál, hanem tanulási tartalmakat, gyakorlóadatokat, visszajelzési rendszereket is képes építeni belőle. Ugyanez a logika működik a magyar egészségügyben is: a kézírásfelismerés és a dokumentumfeldolgozás az egyik legrövidebb út a jobb adatminőséghez.

Mit tanít nekünk az ó-nepáli HTR-pipeline?

A legfontosabb tanulság: a jó kézírásfelismerés nem egyetlen modell „varázslata”, hanem egy fegyelmezett pipeline. A tanulmány azért értékes, mert nem csak egy architektúrát mutat, hanem végigmegy azon, hogyan lesz a kéziratfotóból használható szöveg.

A szerzők sorszintű átírást használnak (line-level transcription), ami történeti anyagoknál praktikus: nem kell minden karaktert külön dobozolni, elég a sorokat jól kivágni és párosítani a transzkripcióval.

A kulcsszám: 4,9% CER

A modell legjobb eredménye 4,9% karakterhiba-arány. Ez a szám két okból különösen beszédes:

1. Alacsony erőforrású nyelv és íráskép: kevés adat, sok variancia, kevés „szabványos” betűforma.
2. Történeti dokumentumok: foltok, elmosódás, torzulás, tintahalványodás, egyenetlen sorvezetés.

Ha ezen a terepen ilyen pontosság elérhető, akkor a modern, strukturáltabb környezet (például kórházi formanyomtatványok kézzel kitöltött részei, ambuláns lapok) még hálásabb célpont lehet — feltéve, hogy a pipeline rendben van.

Miért pipeline és nem csak modell?

Mert a hibák fele nem „AI-hiba”, hanem adat- és folyamat-hiba:

• rossz szkennelés, ferde lap
• pontatlan sor-kivágás
• inkonzisztens transzkripciós szabályok
• rosszul megválasztott dekódolási stratégia
• hiányzó utófeldolgozás (normalizálás, rövidítések kezelése)

A tanulmány külön értéke, hogy dekódolási stratégiákat is vizsgál, és token-szintű összetévesztéseket elemez. Magyarul: nem csak azt mondja, „ennyi lett a pontosság”, hanem megmutatja, hol és miért csúszik el a rendszer.

Mi a párhuzam az egészségüggyel? Papírból adat, adatból döntés

A legközvetlenebb híd: az egészségügyben is hatalmas mennyiségű információ „ragadt” papíron vagy félstrukturált PDF-ekben. A kórtörténet, zárójelentés, ambuláns lap, konzílium, ápolási lap gyakran:

• nem kereshető
• nem összevethető intézmények között
• nem alkalmas minőségi indikátorok automatizált mérésére
• nehezen használható oktatási célra (esetmegbeszélés, szimuláció, vizsgafeladat)

Az AI dokumentumfeldolgozás itt nem PR-ígéret, hanem nagyon konkrét nyereség: idő, adatminőség, betegbiztonság.

Kézírásfelismerés vs. orvosi képalkotás: meglepően hasonló

Sokan azt gondolják, hogy a „komoly” AI az MRI/CT elemzés. Pedig a kézírásfelismerés és dokumentum-értelmezés ugyanazt a képességet igényli: vizuális mintázatokból strukturált információ.

A közös pontok:

• zajos bemenet (szken, fotó, árnyék, torzulás)
• finom vizuális különbségek (egy jel vagy vonás mindent megváltoztat)
• nagy tét (félreolvasott gyógyszeradag, félreértett diagnózis)
• szükség van hibaanalízisre és visszacsatolásra

Én azt látom, hogy a hazai szervezetek gyakran túl nagyot akarnak ugrani (rögtön „teljes EHR-automatizálás”), miközben az igazi nyereség sokszor a kisebb, jól körülhatárolt lépéseknél kezdődik: kórlapok kereshetővé tétele, kulcsmezők kinyerése, hibaarány mérhető csökkentése.

Hogyan lesz ebből EdTech-érték? Tananyag a valóságból

Az EdTech-szál itt nem erőltetett: ha egyszer a kézírásos dokumentumokból gépileg olvasható szöveg lesz, hirtelen megnyílik egy új világ az oktatásban.

1) Automatikus gyakorlóanyag és „mini-esetek”

Képzeld el, hogy egy régi kézirat (vagy egy anonimizált betegút dokumentumcsomagja) alapján a rendszer képes:

• témák szerint csoportosítani a szövegrészleteket
• rövid kivonatokat készíteni
• feladatokat generálni (fogalompárosítás, hiányos szöveg kitöltése)

Ez a „digitális tananyagfejlesztés” egyik legnehezebb része: a jó alapanyag. A HTR ezt az alapanyagot teszi olcsón elérhetővé.

2) Egyéni tanulási utak: hol hibázik a tanuló?

A tanulmány token-szintű összetévesztéseket elemez. Ugyanez a gondolkodás az oktatásban aranyat ér:

• mely karaktereket, rövidítéseket, formákat keverik a tanulók?
• mely kifejezések okoznak félreértést?
• mely dokumentumtípusok „olvashatók” könnyebben?

A „tanulói teljesítmény elemzése” itt nem csak teszteredmény, hanem finom hibaminta-feltárás.

3) Digitális kompetencia: olvasás, értelmezés, ellenőrzés

A kézírásfelismerés bevezetése nem azt jelenti, hogy „a gép majd megoldja”. A jó EdTech-megközelítés inkább az, hogy megtanítjuk:

• hogyan ellenőrizd a gépi átírást
• hogyan javítsd a hibákat következetesen
• hogyan dokumentáld a bizonytalanságot (pl. olvashatatlan rész jelölése)

Ez különösen releváns egészségügyi képzésekben, ahol a dokumentáció minősége önmagában kompetencia.

Gyakorlati recept: hogyan indíts HTR/OCR projektet kórházban vagy iskolában?

A legjobb első lépés nem a „nagy rendszer” beszerzése, hanem egy kísérlet, ahol mérni tudsz. A nepáli pipeline logikája jól átültethető.

1) Válassz egy szűk, értelmes dokumentumtípust

Jó pilot-célok:

• ambuláns lapok kézzel írt megjegyzésmezői
• konzíliumi javaslatok
• gyógyszerelési megjegyzések (szigorú validációval)
• oktatási célra: régi iskolai anyakönyvek, kézzel írt dolgozatok (hozzájárulással)

2) Rögzíts transzkripciós szabályokat

A pontosság nem csak modellen múlik, hanem azon, hogy a „helyes” szöveg mit jelent.

Döntsd el például:

• rövidítéseket feloldod-e („bp” → „vérnyomás”) vagy megtartod
• helyesírási variánsokat egységesítesz-e
• dátumformátumot normalizálsz-e (pl. 2025.12.22)

3) Mérj CER-t és „orvosi” hibát külön

A CER jó mérőszám, de nem minden hiba egyenlő. Az egészségügyben érdemes külön mérni:

• kritikus entitás-hibák (gyógyszer, dózis, allergia)
• negációs hibák („nem allergiás” → „allergiás”)
• szám-hibák (0,5 vs 5)

Ez az a pont, ahol a kulturális örökség digitalizálásából tanulhatunk: a szerzők nem elégedtek meg az átlagpontossággal, hanem hibamintákat kerestek.

4) Tegyél be „ember a hurokban” ellenőrzést

A gyors nyereség sokszor egy fél-automatizált rendszer:

1. gép átírja
2. ember ellenőrzi a kiemelt kockázatú részeket
3. javítás visszakerül a tanítókészletbe

Ezzel a modell is fejlődik, és az intézmény is kontrollban marad.

Snippet-mondat, amit érdemes megjegyezni: A kézírásfelismerés akkor hoz értéket, ha a hibákat kategorizálod, és a javítási kör bezárul.

„De mi van az adatokkal?” – adatvédelem, bizalom, bevezethetőség

A tanulmányban az értékeléshez használt adathalmaz bizalmas, viszont a szerzők kódot, konfigurációkat és értékelő scripteket megosztanak. Ez jó irány: a reprodukálhatóság és a kontroll nem luxus, hanem bizalmi alap.

Egészségügyben (és oktatásban) három dolog nélkül szerintem nem érdemes belevágni:

• anonimizálási/pszeudonimizálási folyamat már a pilotnál
• naplózott emberi javítás (ki mit módosított, mikor, miért)
• hibahatár és felelősségi körök előre rögzítve

A cél nem az, hogy „mindent automatizáljunk”, hanem hogy a kritikus döntéseket emberi ellenőrzéssel támogassuk, miközben az adminisztratív terhelést csökkentjük.

Merre tovább: a kézírásfelismerés mint közös infrastruktúra

Az ó-nepáli kéziratokhoz épített HTR-pipeline üzenete egyszerű: ha egy nehéz, alacsony erőforrású kézírásos korpuszon 4,9% CER elérhető, akkor a módszertan skálázható más területekre is. Szerintem a következő 12–18 hónapban (2026 elejéig) egyre több szervezet fog rájönni, hogy a dokumentumfeldolgozás nem „mellékprojekt”, hanem adatstratégia.

Az EdTech oldalról nézve ez azt jelenti, hogy a tanulási utak személyre szabása és a digitális oktatási platformok tartalomellátása egyre inkább valós, nagy tömegű szöveganyagra támaszkodhat. Az egészségügy oldalról pedig azt, hogy a betegellátás minőségének méréséhez és javításához végre nem csak kézzel vezetett Excel-táblák lesznek.

Ha a szervezetednél most merül fel a kérdés, hogy „érdemes-e HTR/OCR projektbe kezdeni?”, én azt mondom: igen, de kicsiben, mérhetően, hibamintákra építve. A kézirattól a kórlapig vezető út meglepően rövid, ha a pipeline jó.

A következő lépéshez pedig egy praktikus kérdést hagyok itt: a te intézményedben melyik az az egy dokumentumtípus, amit ha holnaptól kereshetővé tennétek, azonnal érezhetően csökkenne a munka és nőne a biztonság?