Skip to main content

Model routing i fallback strategija

Natrag na AI agenti vodič

Oriphiel AI agenti vodič

Model routing i fallback strategija

Kako OpenClaw može birati model po zadatku, trošku, riziku i dostupnosti te se sigurno prebaciti na drugi provider.

Što ova AI-agent tema rješava

AI agent ima smisla samo ako rješava konkretan zadatak: razumije tekst, koristi relevantan kontekst, poziva dopuštene alate, vraća strukturirani izlaz ili pomaže čovjeku donijeti bolju odluku. Dobar agent nije samo chat odgovor, nego kontrolirani workflow s pravilima, logovima i mjerljivim ishodom.

Model routing znači da OpenClaw ne šalje svaki zadatak istom modelu. Jednostavna klasifikacija može ići jeftinijem ili lokalnom modelu, složeni slučaj jačem modelu, a osjetljivi podatak modelu koji zadovoljava privacy uvjete. Fallback treba biti svjestan razlika u kvaliteti i output shemi, a ne samo pokušaj drugog API-ja.

Ključne odluke

  • Routing pravila trebaju biti transparentna i verzionirana.
  • Fallback ne smije mijenjati poslovni ishod bez loga.
  • Svaki provider mora proći isti output contract.
  • Za rizične zadatke fallback može značiti ljudsku provjeru, ne drugi model.

Kako primijeniti u praksi

Praktična provedba počinje malim opsegom: jedan agent, jedan zadatak, jasna ulazna polja, ograničeni alati, validiran izlaz i ljudska provjera gdje postoji rizik. Nakon toga se šire modeli, RAG, multi-agent orkestracija, routing i automatizirano izvršavanje.

Koraci provedbe

  • Definirati routing tablicu po agent tipu, riziku i maksimalnom trošku.
  • Normalizirati output schema između providera.
  • Dodati health check i rate limit signal za svaki provider.
  • Logirati zašto je odabran model i je li korišten fallback.
  • Periodično usporediti rezultate modela na istom eval skupu.

Najčešće pogreške

Najčešća pogreška je preveliko povjerenje u prompt i premalo povjerenje u backend kontrole. Prompt pomaže modelu, ali dozvole, validacija, idempotentnost, audit log, sandbox, evaluacija i rollback moraju biti dio sustava.

Na što treba paziti

  • Fallback model ne podržava isti tool calling format.
  • Jeftiniji model daje dovoljno JSON-a, ali loše poslovne odluke.
  • Provider outage zaustavi cijeli CRM proces.
  • Routing pravilo se promijeni bez testiranja i objave verzije.

Mjerenje i kontrola

AI agent treba imati svoje metrike: točnost, schema pass rate, tool call greške, latenciju, trošak, prihvaćanje prijedloga, broj ručnih korekcija i incidente. Bez mjerenja se ne zna je li agent stvarno bolji od ručnog procesa.

Metrike koje imaju smisla

  • Routing odluke po modelu.
  • Fallback rate.
  • Kvaliteta po provideru.
  • Trošak po agent tipu.
  • Incidenti zbog model dostupnosti.

AI-agent pristup

Pouzdan AI-agent pristup povezuje model, context builder, tool dispatcher, strukturirani izlaz, memoriju, retrieval, permission matricu, evaluacije i monitoring. Besplatni open-source framework može smanjiti ulazni trošak, ali produkcijski trošak modela, hostinga, GPU/CPU resursa, observabilityja i održavanja treba računati zasebno.

Što se provjerava prije produkcije

  • Je li agentov zadatak dovoljno uzak i mjerljiv.
  • Jesu li alati definirani kroz jasnu shemu i backend validaciju.
  • Postoji li ljudska provjera za rizične akcije.
  • Jesu li prompt, model, output schema i eval skup verzionirani.
  • Postoji li audit log, budget limit, fallback i testiran kill switch.

Česta pitanja

Je li tema "Model routing i fallback strategija" vezana samo uz OpenClaw?

Ne. Tema je objašnjena kao opći AI-agent koncept, a OpenClaw se koristi kao praktičan primjer CRM i automatizacijskog procesa u kojem se taj koncept može sigurno primijeniti.

Jesu li open-source AI agenti stvarno besplatni?

Framework može biti besplatan za self-hosting prema svojoj licenci, ali model API, lokalni GPU/CPU resursi, server, baza, monitoring, sigurnost i održavanje nisu automatski besplatni.

Može li AI agent samostalno mijenjati CRM?

Može samo ako mu backend to tehnički dopusti. Za produkciju je zdravije krenuti od prijedloga i nacrta, a write akcije pustiti tek nakon dozvola, validacije, evaluacija, audit loga i po potrebi ljudske potvrde.