Tavaly telepítettünk egy dokumentumfeldolgozó rendszert egy nagy logisztikai vállalatnak, amely havonta kb. 8000 számlát kezel 340 különböző szállítótól. 12 hónap éles üzem és nagyjából 100 000 feldolgozott számla után ezt tanultuk meg — nem benchmarkokból, hanem abból, hogy figyeltük, ahogy a rendszer a valóságban működik.

Az első hét megalázó volt

A teszt pontosságunk 94% volt. Valódi szállítóktól származó valódi számlákon az első heti pontosság 71% volt.

A különbség nem a modell hibája volt. A mi feltételezéseink voltak rosszak. Egy gondosan kurált adathalmazon tanítottunk. A valódi számlák ezekkel jöttek:

  • Szkennelt dokumentumok, ahol a szkenner üvege koszos volt (konzisztens szürke foltok ugyanazon a helyen minden oldalon)
  • Kézírásos javítások tollal a nyomtatott szöveg fölött
  • Három szállító, akik a számlákat Excel táblázatként küldték Word dokumentumba ágyazva, e-mailekbe ágyazva, .msg fájlként csatolva
  • Egy szállító, aki a számla összegeket az e-mail törzsében gépelte be, és egy üres PDF-et csatolt "a nyilvántartásaidhoz"

Senki nem mesélt az .msg-Word-Excel pipeline-ról az AI marketing anyagokban.

A 80%, ami könnyű, és a 20%, ami elviszi az összes idődet

Két hét hangolás után elértük a 89%-os teljesen automatizált feldolgozást. A 89%-ról 93%-ra jutás még egy hónapba telt. A 93%-ról 96%-ra jutás három hónapba.

Ez a dokumentumautomatizálás mocskos titka: a pontosság utolsó 10%-os javulása az erőfeszítés 80%-át igényli. És a legtöbb vállalkozás számára a 90%-os automatizáció tiszta emberi átadással jóval értékesebb, mint a 99%-os automatizáció, ami alkalmanként magabiztosan hibázik.

Az egész rendszert átstrukturáltuk erre a felismerésre alapozva. A 99%-os pontosság hajszolása helyett három szintet építettünk:

1. szint — Magas megbízhatóság (a számlák 78%-a): Teljesen automatizált. A rendszer kinyeri az adatokat, validálja a megrendeléssel, és könyveli. Ember nem nyúl hozzá.

2. szint — Közepes megbízhatóság (a számlák 15%-a): A rendszer kinyeri az adatokat, de megjelöli azokat a mezőket, amelyeknél bizonytalan. Ember csak a megjelölt mezőket nézi; az egész dokumentumot nem kell átolvasnia. Átlagos átnézési idő: 45 másodperc.

3. szint — Alacsony megbízhatóság (a számlák 7%-a): Emberhez irányítva teljes manuális feldolgozásra. De a rendszer még mindig előre kitölti amit tud, megtakarítva a manuális munka kb. 60%-át.

Az eredmény: 78% teljesen automatizált, 15% félig automatizált, 7% manuális. Az a csapat, amelyik korábban 3 napot töltött a számlákkal, most kb. 4 órát tölt, főleg 2. szintű átnézésekkel.

Ami ténylegesen elromlott élesben

2. hónap: Egy fő szállító megváltoztatta a számlasablonjukat. Figyelmeztetés nélkül. Az ő specifikus formátumukra írt kinyerési szabályaink egyik napról a másikra leálltak. 400 számla gyűlt össze, mire valaki észrevette. Javítás: Sablonváltozás-észlelést adtunk hozzá, ami figyelmeztet, amikor egy szállító számlaformátuma jelentősen eltér az ismert mintától.

4. hónap: A szkennelő hardvert kicserélték egy újabb modellre. Az új szkenner enyhén eltérő színprofilokat és DPI-t produkált. Az előfeldolgozó pipeline-unk a régi szkenner jellemzőire volt hangolva. A pontosság 8%-ot esett két hétre, amíg újrakalibráltunk.

7. hónap: Felfedeztük, hogy a "helyes" kinyerések 12%-ában egy rejtett hiba volt: bizonyos pénznemekbeli összegek rossz tizedeselválasztóval lettek elemezve. A magyar számlák vesszőt használnak tizedeselválasztóként. Egyes szállítók pontot használtak. A rendszerünk inkonzisztens volt abban, melyik konvenciót várta. Ez csendesen hibás volt az indulás óta. A teljes pénzügyi hatás kb. 23 ezer euró volt rosszul könyvelt összegekben.

Ez az utolsó fájt. Most van egy egyeztetési ellenőrzés, ami éjszakánként fut, és összehasonlítja a kinyert összegeket a bankkivonat adatokkal.

Metrikák, amik tényleg számítanak

Egy év után ezt követjük (és ezt hagytuk abba):

Amit követünk:

  • Átmenő feldolgozási arány: 78% (a számlák százaléka, amelyek nulla emberi beavatkozást igényelnek)
  • Átlagos emberi átnézési idő számlánként: 45 másodperc a 2. szinten, 4 perc a 3. szinten
  • Sablonváltozás észlelési ideje: 24 órán belül (kezdetben napokba telt)
  • Pénzügyi pontosság: Egyeztetési hibaarány 0,1% alatt (a 7. havi javítás után)
  • Szállítónkénti pontossági trendek: Havi, automatikus figyelmeztetésekkel csökkenés esetén

Amit abbahagytunk:

  • Összesített modellpontossági százalék: Hiúsági metrika, ami elrejti a szállítónkénti eltérések valóságát
  • Feldolgozási sebesség: A modell elég gyors. A sebesség soha nem volt szűk keresztmetszet. Az emberi átnézési sor kezelése volt az.

Megcsinálnánk-e újra?

Igen, habozás nélkül. A rendszer kb. 2,5 hónap működés után megtérül. De több dolgot másképp csinálnánk:

  1. Kisebb szállítói készlettel kezdenénk. Mind a 340 szállítót egyszerre próbáltuk kezelni az első naptól. A top 50-nel kellett volna kezdeni (ami a számlavolumen 80%-át képviselte), és fokozatosan adni hozzá a többit.
  2. Az egyeztetési ellenőrzést az első naptól építettük volna. A 7. havi tizedeselválasztó hiba az első héten kiderült volna.
  3. Az ügyfél elvárásait a szintezett megközelítésre az elejétől kezeltük volna. Az ügyfél kezdetben 100%-os automatizációt várt. Ennek az elvárásnak a korai kezelése elkerülte volna a súrlódást.
  4. Többet büdzsétunk az éles esetek "hosszú farkára." A 3. szintben lévő 7% nem lesz hamarosan automatizálva. Ez nem baj: a ROI már így is hatalmas.

Ha dokumentumautomatizáción gondolkodol, így néz ki ez a valóságban. Nem a tiszta demó 10 mintaszámlával — a valóság: 8000 számla 340 szállítótól, minden hónapban, egy éven át.

A bevezetés lépésről lépésre: AI dokumentumfeldolgozás a gyakorlatban.