Skip to main content

Guardrails, policy i risk scoring

Natrag na AI agenti vodič

Oriphiel AI agenti vodič

Guardrails, policy i risk scoring

Kako agent prije akcije provjerava pravila: zabranjene radnje, reputacijski rizik, pravna osjetljivost, osobni podaci i eskalacija.

Što ova AI-agent tema rješava

AI agent ima smisla samo ako rješava konkretan zadatak: razumije tekst, koristi relevantan kontekst, poziva dopuštene alate, vraća strukturirani izlaz ili pomaže čovjeku donijeti bolju odluku. Dobar agent nije samo chat odgovor, nego kontrolirani workflow s pravilima, logovima i mjerljivim ishodom.

Guardrails su kombinacija validacije, policy pravila, modelskih provjera i ljudske eskalacije. U OpenClaw-u guardrail može zaustaviti email koji nema opt-out tekst, lead s nepoznatim izvorom, slanje prema suppression listi, nacrt s neodobrenom cijenom ili alat koji traži podatke izvan scopea.

Ključne odluke

  • Guardrails trebaju biti tehničke kontrole, ne samo stil u promptu.
  • Neki guardrails su deterministički, a neki mogu biti modelska procjena s ljudskom potvrdom.
  • Risk score treba utjecati na razinu autonomije.
  • Policy odluke treba logirati i objasniti.

Kako primijeniti u praksi

Praktična provedba počinje malim opsegom: jedan agent, jedan zadatak, jasna ulazna polja, ograničeni alati, validiran izlaz i ljudska provjera gdje postoji rizik. Nakon toga se šire modeli, RAG, multi-agent orkestracija, routing i automatizirano izvršavanje.

Koraci provedbe

  • Popisati zabranjene i approval-required akcije.
  • Implementirati determinističke provjere za suppression, dozvole, prazna obavezna polja i batch limit.
  • Dodati modelski reviewer samo za semantički rizik poput tona ili nejasnog prigovora.
  • Mapirati risk score na proceed, approve, revise ili block.

Najčešće pogreške

Najčešća pogreška je preveliko povjerenje u prompt i premalo povjerenje u backend kontrole. Prompt pomaže modelu, ali dozvole, validacija, idempotentnost, audit log, sandbox, evaluacija i rollback moraju biti dio sustava.

Na što treba paziti

  • Modelski guardrail propusti pravilo koje je trebalo biti backend provjera.
  • Policy se mijenja bez verzije i testova.
  • Risk score postoji, ali ne mijenja izvršenje.
  • Blokirani slučajevi se ne pregledavaju pa tim ne zna je li pravilo prestrogo.

Mjerenje i kontrola

AI agent treba imati svoje metrike: točnost, schema pass rate, tool call greške, latenciju, trošak, prihvaćanje prijedloga, broj ručnih korekcija i incidente. Bez mjerenja se ne zna je li agent stvarno bolji od ručnog procesa.

Metrike koje imaju smisla

  • Blokirane akcije po pravilu.
  • Approval rate po risk scoreu.
  • False positive policy blokade.
  • False negative incidenti.
  • Vrijeme rješavanja blokiranih runova.

AI-agent pristup

Pouzdan AI-agent pristup povezuje model, context builder, tool dispatcher, strukturirani izlaz, memoriju, retrieval, permission matricu, evaluacije i monitoring. Besplatni open-source framework može smanjiti ulazni trošak, ali produkcijski trošak modela, hostinga, GPU/CPU resursa, observabilityja i održavanja treba računati zasebno.

Što se provjerava prije produkcije

  • Je li agentov zadatak dovoljno uzak i mjerljiv.
  • Jesu li alati definirani kroz jasnu shemu i backend validaciju.
  • Postoji li ljudska provjera za rizične akcije.
  • Jesu li prompt, model, output schema i eval skup verzionirani.
  • Postoji li audit log, budget limit, fallback i testiran kill switch.

Česta pitanja

Je li tema "Guardrails, policy i risk scoring" vezana samo uz OpenClaw?

Ne. Tema je objašnjena kao opći AI-agent koncept, a OpenClaw se koristi kao praktičan primjer CRM i automatizacijskog procesa u kojem se taj koncept može sigurno primijeniti.

Jesu li open-source AI agenti stvarno besplatni?

Framework može biti besplatan za self-hosting prema svojoj licenci, ali model API, lokalni GPU/CPU resursi, server, baza, monitoring, sigurnost i održavanje nisu automatski besplatni.

Može li AI agent samostalno mijenjati CRM?

Može samo ako mu backend to tehnički dopusti. Za produkciju je zdravije krenuti od prijedloga i nacrta, a write akcije pustiti tek nakon dozvola, validacije, evaluacija, audit loga i po potrebi ljudske potvrde.