Debata o umelej inteligencii v práve sa často točí medzi dvoma krajnosťami: nadšeným marketingom a historkami o vymyslených judikátoch. JUDr. Lukáš Michna, LL.M., Ph.D., právnik a programátor, zvolil tretiu cestu a CODEXIS AI zmeral na reálnej súdnej praxi. Celý test opísal v článku Codexis AI: Rozsáhlý test na 170 reálných případech z oblasti pracovního práva na Právnom prostore. Tu zhŕňame, čo z neho plynie pre každodennú prácu.
Ako test vyzeral
Základom bolo 85 sporov: 43 rozhodnutí zo Zbierky súdnych rozhodnutí a stanovísk alebo precedenčných rozhodnutí Najvyššieho a Ústavného súdu ČR, 27 náhodne vybraných rozhodnutí Najvyššieho súdu k inštitútom českého Zákonníka práce a 15 nálezov Ústavného súdu. Vzorka pokryla skončenie pracovného pomeru, skúšobnú dobu, odmeňovanie, náhradu škody, pracovné úrazy aj konkurenčné doložky.
Každý spor bol zadaný dvakrát: raz z pohľadu strany, ktorá na súde uspela, druhýkrát z pohľadu strany, ktorá prehrala. Celkom teda 170 samostatných behov. Zadania neboli uhladené právne vety, ale otázky, ako ich formuluje personalista, mzdová účtovníčka alebo vedúci prevádzky: bežným jazykom a často bez detailov, ktoré si právnik musí od klienta dodatočne zistiť. Systém odpovedal v režime one-shot, bez možnosti doplňujúcich otázok.
Každá odpoveď sa pomeriavala voči zoznamu 10 až 20 pravidiel zostavených z odôvodnenia príslušného rozhodnutia: skutkové tvrdenia, zákonné ustanovenia, odkazy na judikatúru. Body uberala aj zámena písmena v § 52 Zákonníka práce alebo relativizujúca formulácia tam, kde súd rozhodol jednoznačne.
Výsledky základného behu
| Rola | Uspel | Čiastočne | Neuspel | Priemerné skóre |
|---|---|---|---|---|
| Víťazná strana | 62 (73 %) | 20 (23 %) | 3 (4 %) | 0,79 |
| Porazená strana | 37 (44 %) | 21 (25 %) | 27 (31 %) | 0,55 |
| Celkom | 99 | 41 | 30 | 0,67 |
Rozdiel medzi oboma rolami ukazuje známu slabinu veľkých jazykových modelov: tendenciu prisviedčať klientovi. Obhájiť víťaznú pozíciu je pre model prirodzené. V role porazeného často podľahol sugescii otázky a snažil sa právne neobhájiteľné stanovisko obhájiť. Chyby pritom spočívali v chýbajúcom striktnom odmietnutí, nie vo vymýšľaní pravidiel.
Skok na 90 % po nasadení zručnosti
Rozbor chýb ukázal, že systém nestrácal body neznalosťou práva, ale absenciou metodického vedenia: vynechal konkrétny odsek alebo dostatočne neopísal rozloženie bremena tvrdenia a dôkazného bremena. Autor preto tieto poznatky premietol do špecializovanej zručnosti pre CODEXIS AI. Tá modelu ukladá najskôr preveriť procesné podmienky a prekluzívne lehoty, neprisviedčať tvrdeniam v rozpore s kogentným právom, výslovne pomenovať dôkazné bremeno a citovať ustanovenia na úrovni odsekov a písmen.
Pri kontrolnom premeraní rovnakých 170 prípadov s rovnako prísnym hodnotením stúpla priemerná presnosť na zhruba 90 %, a to vrátane porazených pozícií. Pre spoľahlivosť právnej AI tak nie je rozhodujúci hrubý výkon modelu, ale metodika, ktorú mu dáte. V asistovanom režime s doplňujúcim dialógom by podľa autora bola presnosť ešte vyššia.
Zákon a judikatúra
Citácie Zákonníka práce boli vecne správne na úrovni paragrafov, bodové straty išli za chýbajúcim odsekom alebo opomenutým procesným ustanovením. Pri judikatúre sa ukázala vysoká presnosť pri neúplnom výpočte: ak k veci existovalo viac rozhodnutí, systém uviedol spravidla jedno alebo dve. Ani raz však nenavrhol judikát, ktorý s vecou nesúvisel a ani raz si spisovú značku nevymyslel. Neúplný výpočet sa dá doplniť, vymyslená citácia by ohrozila celé posúdenie.
Takmer stopercentne systém zvládal okamžité skončenie pracovného pomeru pre nevyplatenie mzdy, zodpovednosť zamestnanca za škodu z nedbanlivosti, organizačné zmeny a nadbytočnosť a primeranosť zmluvných pokút pri konkurenčných doložkách. Kontrolu naopak vyžadujú prekluzívne lehoty na žalobu o neplatnosť skončenia pracovného pomeru, skúšobná doba vedúcich zamestnancov a liberácia zamestnávateľa pri pracovných úrazoch, kde sa častejšie objavovali opomenutia procesných detailov.
Čo to stálo
Spracovanie všetkých 170 prípadov stálo približne 7 500 Kč strojového času, v priemere 8 minút na prípad. Dôkladné spracovanie jedného stanoviska zaberie právnikovi 1,5 až 2 hodiny. Pri piatich prípadoch denne by rovnaký súbor riešil 34 pracovných dní, teda zhruba 5 týždňov, a udržať po celý čas stabilnú kvalitu naprieč desiatkami inštitútov a z oboch procesných strán je na hranici možností.
Čo z toho plynie pre prax
Pre personalistov a mzdové účtovníčky je správne nastavený CODEXIS AI nástrojom rýchlej orientácie v každodennej agende, od okamžitého skončenia pomeru pre absenciu po návrat z rodičovskej dovolenky. Pre advokátov a podnikových právnikov funguje ako rýchly oponent pre triáž prípadu, nezávislý druhý názor alebo záťažový test stratégie z pohľadu protistrany.
Pravidlo bezpečnej praxe sa nemení: prvý koncept je strojovo lacný a rýchly, zodpovednosť za rozhodnutie a podpis zostáva na človeku. Platí to zvlášť pri prepadných lehotách, komplikovaných výpovediach a pracovných úrazoch.
Ako si vlastnú zručnosť v CODEXIS AI vytvoriť, opisuje dokumentácia na stránke Zručnosti.