Přeskočit na hlavní obsah

Monitorování použití, auditní protokoly a riziko

Po spuštění by administrátoři měli pravidelně kontrolovat, jak se Siesta AI používá. Siesta AI poskytuje několik provozních pohledů pro toto: Provádění nástrojů, Auditní protokol, analýza agenta, konverzace agenta, zpětná vazba agenta, historie pracovního postupu a použití organizačního tokenu.

Co monitorovat​

  • Změny uživatelů a týmů.
  • Nová nebo upravená připojení.
  • Provádění nástrojů, zejména akce zápisu.
  • Neúspěšné běhy pracovního postupu.
  • Agenti, kteří přistupují k citlivým datům.
  • Opakované chyby autorizace.

Provádění nástrojů​

Použijte Provádění nástrojů, když agent nebo pracovní postup provádí akci prostřednictvím připojeného nástroje. Tabulka zobrazuje Agenta, Konverzaci, Akci, Stav, Vyřešeno k a Vyřešeno kým.

Otevřete detail provedení z Sloupce stavu pro kontrolu:

  • argumentů předaných nástroji,
  • výsledku volání,
  • zda byla vyžadována schválení,
  • stavu schválení.

Zkontrolujte stavy jako Čekající, Úspěch, Neúspěch, Čeká na schválení a Neznámý. Pro schvalovací pracovní postupy zkontrolujte, zda jsou akce Schváleny, Odmítnuty, Čekající nebo označeny jako Schválení není vyžadováno.

Revize auditu​

Použijte auditní protokoly k pochopení, kdo změnil nastavení, které zdroje byly ovlivněny a kdy k změně došlo. Spojte revizi auditu Siesta AI s protokoly z připojených systémů při vyšetřování externích akcí.

V Auditním protokolu použijte filtry pro Období dat, Uživatele a Typ akce. Otevřete detail pro kontrolu ID záznamu, Entita, Datum, Uživatel, ID korelace a konkrétní změněné hodnoty.

Revize agenta a pracovního postupu​

Pro produkční agenty zkontrolujte:

  • Analýzu pro použití, spotřebu tokenů a trendy výkonu.
  • Konverzace pro skutečné interakce uživatelů.
  • Zpětnou vazbu pro negativní nebo opravené odpovědi.
  • Evoluci před aplikací změn promptu na základě zpětné vazby.
  • Historii pro zjištění, kdo změnil model, prompt, data nebo konfiguraci nástroje.

Pro pracovní postupy zkontrolujte Historii po změnách uzlů a ověřte neúspěšné běhy v Provádění nástrojů.

Provozní návyky​

Zkontrolujte přístup po zaškolení, odchodu, restrukturalizaci týmu, rotaci přihlašovacích údajů a významných změnách pracovního postupu. Pro nástroje s vysokým dopadem naplánujte pravidelné kontroly s vlastníkem podnikání externího systému.