A részvénybefektetési döntéseket támogató adatelemzési folyamat első és egyben egyik kardinális lépése a minőségi (de minimum „good-enough”) adatgyűjtés. A Tudatos KisBefektetői kör részére ez bizonyult a közelmúltig az egyik leginkább megoldhatatlan feladatnak. Itt ugye lehetett választani az ingyenesen hozzáférhető nyers SEC EDGAR-adatok (amennyiben valaki az USA-piacon érdekelt) manuális kezelésétől (Kisbefektetőnek esélytelen időráfordítási igény) a profi adatszolgáltatóig bezárólag (Kisbefektetőknek elérhetetlen éves, USD-ben ötszámjegyű szolgáltatási díjakkal). És persze a kettő között számos jobb-rosszabb megoldás létezik, immár elérhető áron, de mindig valamilyen kompromisszummal, mint pl. adatletöltési korlátozások vagy a módszertani kockázat felvállalása. Ám a GenAI pár évvel ezelőtti berobbanása gamechangernek bizonyulhat. Egyben bizonyos szinten eldönti azt a vitát is, hogy megtérül-e az AI-befektetés? Legalábbis ebben a szegmensben és alkalmazásban egyre kevésbé kérdéses.
Az olyan start-upok, mint a SimFin és a Parsee.ai (ez lényegében egy csapat: leegyszerűsítve az előbbi a szolgáltatást biztosítja, az utóbbi inkább a módszertani/technológiai hátteret), gondolatébresztő megoldásokkal és kutatási eredményekkel rukkoltak elő. A Parsee (Thomas Flassbeck) 2024 májusában publikálta a „finRAG Datasets & Study” című tanulmányát (itt olvashatod eredetiben). Ebben az akkor általuk legnagyobbnak tartott 8 AI-modellt teszteltek adatkinyerési teljesítményre 3 módon.
1. Selection Test
Itt lényegében előre megadták az elvárt eredményt (pénzügyi adatok), és azt nézték, hogy a modellek ebből milyen eredménnyel tudják kiszedni az adatokat.
2. RAG-test (Retrieval-Augmented Generation)
Ez áll a legközelebb a jelenlegi praktikus gyakorlathoz. Itt tehát az elérhető szöveges adatokat kapták a modellek, és ezekből kellett kinyerniük a pénzügyi adatokat.
3. Vision Test
Itt a szöveges adatok helyett azok képi változatát kapta az AI. Gondoljunk csak bele: sokszor kell PDF-fájlból vagy screenshotokból dolgoznunk nekünk is.
Az eredmény zanzásítva az volt, hogy a különböző modellek egyrészt látványosan eltérő mértékben teljesítettek, másrészt pedig elmondható, hogy a valós, életszerű helyzetekben (szöveges adatokból adatkinyerés) legfeljebb 87%, míg a képfeldolgozás során 60%-os pontossággal teljesítettek. Jó ez, vagy rossz? Mit üzen ez az elemzőnek?
Bár a 87%-os pontosság elsőre jól hangzik, üzleti környezetben — ahol a pontosság kritikus — ez a 13%-os hibaarány már jelentős időt jelenthet az AI által generált adatok ellenőrzésével és javításával. Ugyanakkor (és ez már a személyes véleményem) ez az idő összehasonlíthatatlanul kevesebb lehet, mintha AI nélkül, manuálisan szeretnéd elemzésre előkészíteni a nyers pénzügyi adatokat. Arról nem is beszélve, hogy ezt a human verification lépést maga a szolgáltató is megteheti helyetted.
Pontosan így működik a SimFin értékajánlata. Választhatsz:
Önállóan használod a Parsee.ai-t, jelenleg (a 2024-es kutatás alapján) 87%-os pontossággal, és a személyes felelősséged az adatok feljavítása.
A SimFin elvégzi ezt a humán beavatkozást, és szolgáltatási díj ellenében immár tisztított adatokat kapsz.
Ha megnézed a SimFin ártáblázatát, még ezzel a második opcióval is fényévekre leszel a profi intézményi adatszolgáltatók díjaihoz képest – és értem persze, hogy nem ugyanazt kapod, de azért itt a világ kezd kitárulni az egyszerű felhasználók felé is.
Aztán vedd figyelembe a technológia fejlődési ütemét. Erre maga a Parsee mutat rá megdöbbentő módon. Az idézett tanulmányt ugyanis nem sokkal később (bő egy hét) egy újabb követte, ahol már a GPT-4o-t tesztelték (erről itt olvashatsz). Bár konkrét számszerű adatokat nem közölnek, a legfontosabb megállapítás az, hogy a GPT-4o az első modell, ahol a képfeldolgozási képesség azonos szintre került a szöveges feldolgozással (lásd a mellékelt képet a tanulmányból).
Az eredeti tanulmány szerint:
– a Claude 3 és ChatGPT-4 vision modellek pontossága 40%-kal esett vissza, ha képet kaptak szöveg helyett (kb. 100%-ról 60%-ra).
– a GPT-4o esetében ez a 40%-os különbség eltűnt. A látás (vision) teljesítménye megegyezik a szöveges feldolgozáséval.
Ez óriási előrelépés, mert a valós dokumentumok nagy része ma még szkennelt PDF vagy kép, nem pedig tiszta szövegfájl.
A Parsee frissített konklúziója:
„A GPT-4o lehet a fordulópont – ez az első modell, amely minden tesztkategóriában új csúcsot ért el, ÉS megoldotta a vision-problémát. Lehet, hogy végre elég megbízható vállalati szintű felhasználásra, bár konkrét pontossági számokat nem közöltek.”
Számomra azonban nem a Parsee aktuális konklúziója a lényeges, hanem a fejlődés üteme. A két publikációt egy hét választotta el egymástól. Ez részben a véletlen műve, de azért indikatív.
Végül, bár a bejegyzésem a tudatos részvénypiaci kisbefektetői gyakorlat alapján íródott, a másik dimenzióm — a vállalati menedzser — is mindig fél szemét ezeken az eredményeken tartja. Gondolj csak bele, hogy a vállalatok milyen pénzeket áldoznak például a pénzügyi adatok (pl. számlák) digitalizálására, kezelésére ilyen-olyan ERP-rendszerek almoduljaként. A Parsee — és nyilván sok más hasonló megoldás — pedig nem kínál kevesebbet, mint hogy: töltsd fel a pénzügyi adatokat akár felhőbe, eressz rá egy AI-t, és elemezz. Kis túlzás ez ma még, de azért nem is az elérhetetlen álom kategória.
Meglátjuk. 🙂
