Što ova AI-agent tema rješava

AI agent ima smisla samo ako rješava konkretan zadatak: razumije tekst, koristi relevantan kontekst, poziva dopuštene alate, vraća strukturirani izlaz ili pomaže čovjeku donijeti bolju odluku. Dobar agent nije samo chat odgovor, nego kontrolirani workflow s pravilima, logovima i mjerljivim ishodom.

Siguran agent nije onaj kojem vjerujemo jer ima dobar prompt, nego onaj koji tehnički ne može napraviti nedopuštenu radnju. Permissions određuju koje alate smije koristiti, sandbox ograničava izvršno okruženje, human-in-the-loop zaustavlja rizične korake, a kill switch omogućuje brzo gašenje.

Ključne odluke

• Prompt nije sigurnosna kontrola.
• Read i write scope moraju biti tehnički odvojeni.
• Sandbox treba ograničiti datoteke, mrežu, procese i tajne gdje je primjenjivo.
• Ljudsko odobrenje treba biti uvjet u backend stateu, ne samo komentar u UI-ju.

Kako primijeniti u praksi

Praktična provedba počinje malim opsegom: jedan agent, jedan zadatak, jasna ulazna polja, ograničeni alati, validiran izlaz i ljudska provjera gdje postoji rizik. Nakon toga se šire modeli, RAG, multi-agent orkestracija, routing i automatizirano izvršavanje.

Koraci provedbe

• Napraviti permission matricu po agentu, alatu i tipu podatka.
• Dodati approval_required za slanje, brisanje, suppression promjene i masovne akcije.
• Koristiti sandbox za kod, browsing ili file operacije gdje postoje.
• Uvesti globalni i per-agent kill switch.

Najčešće pogreške

Najčešća pogreška je preveliko povjerenje u prompt i premalo povjerenje u backend kontrole. Prompt pomaže modelu, ali dozvole, validacija, idempotentnost, audit log, sandbox, evaluacija i rollback moraju biti dio sustava.

Na što treba paziti

• Agent dobije admin API ključ jer je najlakše za razvoj.
• Approval se prikazuje korisniku, ali backend ga ne zahtijeva.
• Sandbox ima pristup produkcijskim credentialima.
• Kill switch ne zaustavlja već queued jobove.

Mjerenje i kontrola

AI agent treba imati svoje metrike: točnost, schema pass rate, tool call greške, latenciju, trošak, prihvaćanje prijedloga, broj ručnih korekcija i incidente. Bez mjerenja se ne zna je li agent stvarno bolji od ručnog procesa.

Metrike koje imaju smisla

• Odbijene akcije zbog permissiona.
• Approval latency.
• Sandbox escape pokušaji ili policy blokade.
• Kill switch testovi.
• Akcije po read/write scopeu.

AI-agent pristup

Pouzdan AI-agent pristup povezuje model, context builder, tool dispatcher, strukturirani izlaz, memoriju, retrieval, permission matricu, evaluacije i monitoring. Besplatni open-source framework može smanjiti ulazni trošak, ali produkcijski trošak modela, hostinga, GPU/CPU resursa, observabilityja i održavanja treba računati zasebno.

Što se provjerava prije produkcije

• Je li agentov zadatak dovoljno uzak i mjerljiv.
• Jesu li alati definirani kroz jasnu shemu i backend validaciju.
• Postoji li ljudska provjera za rizične akcije.
• Jesu li prompt, model, output schema i eval skup verzionirani.
• Postoji li audit log, budget limit, fallback i testiran kill switch.