Oriphiel AI agenti vodič
Incidenti, rollback i audit log za AI agente
Kako reagirati kada agent pogriješi: zaustavljanje, istraga tracea, poništavanje akcije, obavijest i poboljšanje evala.
Što ova AI-agent tema rješava
AI agent ima smisla samo ako rješava konkretan zadatak: razumije tekst, koristi relevantan kontekst, poziva dopuštene alate, vraća strukturirani izlaz ili pomaže čovjeku donijeti bolju odluku. Dobar agent nije samo chat odgovor, nego kontrolirani workflow s pravilima, logovima i mjerljivim ishodom.
Agentic incident može biti pogrešna klasifikacija, krivo poslan email, neispravan CRM status, privacy propust ili troškovni runaway. OpenClaw treba imati audit log koji pokazuje ulaz, prompt version, model, alate, argumente, korisnika, odobrenja i rezultat. Rollback treba biti planiran za svaku write akciju.
Ključne odluke
- Svaka write akcija treba imati audit trag i strategiju poništavanja gdje je izvedivo.
- Incident response treba uključiti business ownera, ne samo developera.
- Kill switch treba zaustaviti nove runove i queued jobove kada je potrebno.
- Svaki incident treba završiti promjenom testa, pravila ili dokumentacije.
Kako primijeniti u praksi
Praktična provedba počinje malim opsegom: jedan agent, jedan zadatak, jasna ulazna polja, ograničeni alati, validiran izlaz i ljudska provjera gdje postoji rizik. Nakon toga se šire modeli, RAG, multi-agent orkestracija, routing i automatizirano izvršavanje.
Koraci provedbe
- Definirati incident kategorije i ozbiljnost.
- Za write alate spremiti before/after gdje je dopušteno i korisno.
- Dodati rollback ili compensating action za status, task, queue i suppression promjene.
- Nakon incidenta ažurirati eval skup i prompt/tool verziju.
Najčešće pogreške
Najčešća pogreška je preveliko povjerenje u prompt i premalo povjerenje u backend kontrole. Prompt pomaže modelu, ali dozvole, validacija, idempotentnost, audit log, sandbox, evaluacija i rollback moraju biti dio sustava.
Na što treba paziti
- Nema traga koji je model ili prompt donio odluku.
- Rollback izbriše dokaz koji je potreban za audit.
- Kill switch zaustavi UI, ali ne pozadinski queue.
- Incident se riješi ručno, ali testovi ostanu isti pa se ponovi.
Mjerenje i kontrola
AI agent treba imati svoje metrike: točnost, schema pass rate, tool call greške, latenciju, trošak, prihvaćanje prijedloga, broj ručnih korekcija i incidente. Bez mjerenja se ne zna je li agent stvarno bolji od ručnog procesa.
Metrike koje imaju smisla
- Incidenti po tipu.
- Vrijeme do zaustavljanja agenta.
- Vrijeme do rollbacka.
- Runovi pogođeni incidentom.
- Novi regression testovi nakon incidenta.
AI-agent pristup
Pouzdan AI-agent pristup povezuje model, context builder, tool dispatcher, strukturirani izlaz, memoriju, retrieval, permission matricu, evaluacije i monitoring. Besplatni open-source framework može smanjiti ulazni trošak, ali produkcijski trošak modela, hostinga, GPU/CPU resursa, observabilityja i održavanja treba računati zasebno.
Što se provjerava prije produkcije
- Je li agentov zadatak dovoljno uzak i mjerljiv.
- Jesu li alati definirani kroz jasnu shemu i backend validaciju.
- Postoji li ljudska provjera za rizične akcije.
- Jesu li prompt, model, output schema i eval skup verzionirani.
- Postoji li audit log, budget limit, fallback i testiran kill switch.
Česta pitanja
Je li tema "Incidenti, rollback i audit log za AI agente" vezana samo uz OpenClaw?
Ne. Tema je objašnjena kao opći AI-agent koncept, a OpenClaw se koristi kao praktičan primjer CRM i automatizacijskog procesa u kojem se taj koncept može sigurno primijeniti.
Jesu li open-source AI agenti stvarno besplatni?
Framework može biti besplatan za self-hosting prema svojoj licenci, ali model API, lokalni GPU/CPU resursi, server, baza, monitoring, sigurnost i održavanje nisu automatski besplatni.
Može li AI agent samostalno mijenjati CRM?
Može samo ako mu backend to tehnički dopusti. Za produkciju je zdravije krenuti od prijedloga i nacrta, a write akcije pustiti tek nakon dozvola, validacije, evaluacija, audit loga i po potrebi ljudske potvrde.