Nova metrika pravnog AI-ja: vrijeme do provjerljivog pravnog rezultata

Vrijeme do prvog odgovora nije metrika

Odakle dolazi zaključak? Koji ga dio dokumenta podupire? Je li sustav analizirao sve priloge? Je li koristio odgovarajuću verziju propisa? Postoje li dokumenti koji upućuju na drukčiji zaključak? Može li drugi član tima razumjeti kako je rezultat nastao?

Ako pravnik odgovore na ta pitanja mora tražiti ispočetka, alat možda brzo generira tekst, ali ne ubrzava pravni rad. Vrijeme do prvog odgovora nije isto što i vrijeme do provjerljivog pravnog rezultata. To bi trebala postati jedna od ključnih metrika pravnog AI-ja.

Najbolji model nije cijeli proizvod

Razvoj velikih jezičnih modela iznimno je brz. Uz modele optimizirane za brzinu i svakodnevne zadatke, danas postoje i napredni reasoning modeli namijenjeni složenijoj, višekoračnoj analizi.

Njihov napredak važan je za pravnu industriju. Istraživanje objavljeno 2026. godine pokazalo je da su sustavi koji kombiniraju pravne izvore s generiranjem odgovora, kao i reasoning modeli, poboljšali kvalitetu i produktivnost na nizu složenih pravnih zadataka. Posebno je važan zaključak da bi povezivanje reasoning modela s pouzdanim, domenski specifičnim izvorima moglo donijeti još bolje rezultate. (journals.sagepub.com)

Ali ni najsposobniji model sam po sebi nije pravni proizvod. Model ne zna automatski: kojim dokumentima korisnik smije pristupiti, koja je verzija ugovora relevantna, kako su povezani ugovor, aneks, dopis i prilog, koji je propis bio na snazi na određeni datum, iz kojeg izvora proizlazi pojedina tvrdnja, je li dokumentacija potpuna, kada nema dovoljno podataka za siguran zaključak.

Zato pravni AI ne može biti samo chat postavljen iznad mape dokumenata. Pravni AI nije utrka u tome tko će prvi priključiti najnoviji model. To je disciplina pretvaranja sposobnosti modela u provjerljiv profesionalni rezultat.

Dobar demo nije isto što i dobar proizvod

Demo mora ostaviti dojam u nekoliko minuta. Proizvod mora izdržati svakodnevni pravni rad: skenirane priloge, različite verzije dokumenata, nedosljedne nazive datoteka, nepotpunu dokumentaciju, kompleksna prava pristupa i pitanja koja nisu uvijek savršeno formulirana.

U kontroliranoj demonstraciji gotovo svaki sustav može izgledati impresivno. Razlika se vidi kada treba analizirati cijeli predmet i utvrditi koji dokument mijenja zaključak, koji izvor ima veću pravnu težinu i što u dokumentaciji nedostaje.

Zato ozbiljan pravni AI treba evaluirati na stvarnim radnim procesima, a ne samo na kvaliteti pojedinačnog odgovora.

Uvjerljiv odgovor može biti opasniji od očite pogreške

Očito netočan odgovor korisnik će najčešće prepoznati i odbaciti. Veći je problem odgovor koji je većinom točan, dobro napisan i dovoljno uvjerljiv da ne izazove dodatnu provjeru.

U pravu jedna izostavljena iznimka, zastarjela verzija propisa, pogrešno shvaćena definicija ili propušten prilog mogu promijeniti cijelu analizu. Zbog toga pravni AI ne smije biti optimiziran samo za uvjerljivost teksta. Mora biti optimiziran za provjerljivost rezultata.

Uz važan zaključak korisnik bi trebao moći utvrditi: koji su izvori korišteni, koji dijelovi izvora podupiru zaključak, postoje li proturječne informacije, je li obuhvaćena relevantna dokumentacija, gdje završava sadržaj izvora, a počinje interpretacija modela.

Bez toga pravnik ne provjerava rezultat. On rekonstruira proces koji se dogodio u pozadini. To nije prava ušteda vremena. To je samo premještanje posla.

Sljedivost izvora mora biti dio arhitekture

Za svaku važnu tvrdnju sustav bi trebao moći pokazati njezino podrijetlo. Ne samo naziv dokumenta, nego i konkretan odlomak, ugovornu odredbu, članak propisa ili drugi dio izvora na kojem se tvrdnja temelji.

To pravniku omogućuje brzu provjeru. Drugom članu tima daje dovoljno konteksta da nastavi rad bez ponavljanja cijelog istraživanja. Partneru ili voditelju pravnog tima omogućuje pregled rezultata bez nagađanja kako je do njega došlo.

Takav sustav može biti koristan i kada završni zaključak zahtijeva doradu. Ako je pronašao prave dokumente, izdvojio relevantne dijelove i jasno ih povezao s pitanjem, već je uklonio znatan dio ručnog rada.

Zato citiranje i prikaz izvora nisu samo funkcije korisničkog sučelja. Oni su temeljne arhitekturne odluke.

Dokumenti nisu isto što i dostupno znanje

Većina odvjetničkih ureda i pravnih odjela već posjeduje veliku količinu vrijednih podataka. Ugovori su u jednom sustavu, pravna mišljenja u drugom, elektronička pošta u trećem, a važni zaključci često ostaju u glavama ljudi koji su radili na predmetu.

Organizacija tehnički posjeduje dokumente. Operativno, velik dio njezina znanja i dalje je teško dostupan.

AI može pomoći pronaći i povezati relevantan sadržaj, ali samo ako dokumente promatra kao organizirani sustav znanja, a ne kao mapu nepovezanih datoteka. To zahtijeva upravljanje verzijama, razumijevanje metapodataka, prepoznavanje odnosa među dokumentima i poštovanje prava pristupa.

U AI sustavima „slično" nije isto što i „relevantno". U pravu ta razlika može biti odlučujuća.

Sigurnost se ne može dodati na kraju

Kod pravnih dokumenata sigurnost nije samo pitanje enkripcije. Potrebno je znati tko smije pristupiti pojedinom predmetu, gdje se podaci obrađuju, koliko se dugo čuvaju i koriste li se za treniranje modela.

Poseban izazov nastaje kada AI povezuje informacije iz više izvora. Nije dovoljno korisniku zabraniti otvaranje određenog dokumenta. Sustav mora spriječiti da se njegov sadržaj neizravno pojavi u odgovoru, sažetku ili preporuci.

Prava pristupa zato se ne smiju provjeravati tek nakon generiranja odgovora. Moraju biti ugrađena u dohvat dokumenata i pripremu sadržaja koji se šalje modelu. Model nikada ne bi smio dobiti sadržaj koji korisnik nema pravo vidjeti.

Upravo je to jedna od važnih razlika između općih AI alata i platformi projektiranih za profesionalni pravni rad. Aktualne smjernice za pravnike također upozoravaju da opće AI platforme mogu biti bez odgovarajućih kontrola točnosti, povjerljivosti, sigurnosti i integracije u profesionalne procese. (thomsonreuters.com)

Najvažnije je koliko posla ostaje nakon odgovora

Točnost je važna, ali nije dovoljna za procjenu kvalitete pravnog AI-ja. Treba mjeriti cijeli proces: koliko je relevantnih izvora sustav pronašao, je li propustio dokument koji mijenja zaključak, koliko je vremena potrebno za provjeru rezultata, prepoznaje li kada nema dovoljno informacija, može li se rezultat predati kolegi na pregled bez ponavljanja cijelog rada.

Za mene je posebno važna jedna metrika: Koliko dodatnog rada pravniku ostaje nakon što AI generira odgovor?

Ako je odgovor spreman za pet sekundi, ali njegova provjera traje četrdeset minuta, sustav nije riješio pravi problem. Vrijedan pravni AI ne proizvodi samo tekst brže. On skraćuje cijeli put od pitanja i dokumentacije do provjerljivog radnog rezultata.

Zreo sustav mora znati kada ne zna

Znak zrelog AI proizvoda nije to što uvijek daje odgovor. Zrelost se vidi i u sposobnosti da prepozna kada odgovor ne bi trebao dati.

Pravni AI mora moći jasno naznačiti da nije pronašao relevantan izvor, da dokumentacija nije potpuna, da postoje različita tumačenja ili da zaključak ovisi o određenoj pretpostavci. To nije slabost proizvoda. To je ponašanje koje povećava njegovu profesionalnu vrijednost.

Pravniku ne treba sustav koji će svaku prazninu popuniti uvjerljivim tekstom. Potreban mu je sustav koji razlikuje činjenicu, pravni izvor, interpretaciju, pretpostavku i nedostatak informacije.

Naš pristup u Lexandru

U Lexandru koristimo odabrane vodeće LLM-ove, uključujući napredne reasoning modele, koje testiramo i prilagođavamo potrebama profesionalnog pravnog rada. Kako se modeli razvijaju, platformu kontinuirano nadograđujemo novim modelima i funkcionalnostima. Ali ne polazimo od pretpostavke da će sam pristup najnovijem modelu riješiti probleme pravne industrije.

Model je važan. Međutim, jednako su važni dokumenti koje dobiva, pravni izvori na kojima radi, kontekst zadatka, prava pristupa, način provjere i mogućnost da korisnik razumije na čemu se rezultat temelji.

Zato Lexandro povezuje modele s dokumentima radnog prostora, dokumentima pojedinog razgovora, pravnim znanjem odgovarajuće jurisdikcije i drugim izvorima relevantnima za zadatak. Rezultat ostaje povezan sa svojim izvorima i kontekstom kako bi ga pravnik mogao pregledati i nastaviti koristiti u profesionalnom radu.

Ne gradimo sustav kojem je jedini zadatak ponuditi odgovor koji dobro zvuči. Gradimo infrastrukturu koja najbolje mogućnosti suvremenih AI modela pretvara u provjerljiv, siguran i uporabljiv pravni rezultat.

Jer u pravnom radu nije dovoljno da AI nešto tvrdi. Mora nam omogućiti da utvrdimo zašto, na temelju čega i s kojom razinom sigurnosti to tvrdi.