Monitorování Použití, Auditní Záznamy a Riziko

Po spuštění potřebují administrátoři důkazní stopu o tom, co uživatelé spustili, jaké nástroje se změnily, která konfigurace se změnila a zda agenti pomáhají nebo vytvářejí riziko. Používejte Vykonání Nástrojů, Auditní Záznam, konverzace, zpětnou vazbu, analytiku, historii pracovních toků a využití tokenů jako samostatné signály.

Co Monitorovat

Signál	Použijte to pro
Vykonání Nástrojů	Volání nástrojů, stav, argumenty, výsledky, schválení, selhání a čas vykonání
Auditní Záznam	Změny konfigurace a přístupu s uživatelským jménem, entitou, časovým razítkem, korelačním ID a změněnými poli
Konverzace	Skutečné chování uživatelů, mezery v pokynech, nesprávné odpovědi a vystavení citlivým datům
Zpětná vazba	Negativní hodnocení, opravy uživatelů a kandidáti na zlepšení
Analytika Agenta	Využití, tokeny, aktivní uživatelé, výkon a trendy adopce
Historie Pracovních Toků	Změny v logice pracovního toku a chování běhu
Limity Tokenů	Kontrola rozpočtu pro sdílené modelové připojení podle organizace, týmu nebo uživatele

Vykonání Nástrojů

Používejte Vykonání Nástrojů kdykoli agent nebo pracovní tok používá funkci připojení, REST nástroj, MCP nástroj, systémový nástroj nebo akci podobnou sub-agentovi.

Při odstraňování problémů zkontrolujte tyto oblasti:

• agent a konverzaci,
• akci/funkci,
• stav: Čekající, Úspěch, Selhalo nebo Čeká na Schválení,
• vstupní argumenty,
• výsledek a chybovou zprávu,
• zda bylo vyžadováno schválení,
• kdo schválil nebo zamítl,
• čas vyřešení,
• čas vykonání, pokud je k dispozici.

Pokud uživatel říká "agent udělal špatnou věc", začněte zde před úpravou pokynů. Vykonání Nástrojů ukazuje, co bylo skutečně odesláno do nástroje.

Auditní Záznam

Používejte Auditní Záznam pro změny konfigurace a přístupu. Záznamy auditu zahrnují změněnou entitu, typ změny, uživatele, organizaci, časové razítko, korelační ID a změněné vlastnosti. Párujte data auditu Siesta s protokoly z připojeného externího systému při vyšetřování změn záznamů.

Revize auditu je obzvlášť důležitá po:

• změnách SSO nebo bezpečnosti organizace,
• změnách členství v týmu,
• změnách přístupové politiky,
• změnách přihlašovacích údajů pro připojení,
• změnách pokynů/nástrojů/dat agenta,
• úpravách pracovního toku,
• změnách API klíče nebo webhooku.

Incidentní Příručky

Nástroj Selhal

1. Otevřete Vykonání Nástrojů a najděte selhanou akci.
2. Zkontrolujte argumenty, výsledek, chybovou zprávu a připojení.
3. Ověřte, že externí přihlašovací údaje stále fungují.
4. Zkontrolujte, zda organizace nezakázala poskytovatele nebo funkci.
5. Znovu otestujte s bezpečným vstupem.
6. Pokud je selhání specifické pro uživatele, zkontrolujte vlastnictví soukromého připojení.

Akce pro Zápis Potřebuje Schválení

1. Potvrďte, že funkce je záměrně v režimu potvrzení.
2. Zkontrolujte argumenty a cílový záznam před schválením.
3. Pokud jsou schválení příliš hlučná, oddělte bezpečné čtecí/návrhové funkce od funkcí pro zápis.
4. Neodstraňujte potvrzení od zákazníka, finančních, mazacích, publikujících nebo akcí měnících oprávnění bez schválení vlastníka.

Využití Tokenů Vzrostlo

1. Identifikujte připojení modelu.
2. Zkontrolujte využití podle agenta, pracovního toku, týmu a uživatele.
3. Zkontrolujte nedávné změny pracovního toku a automatizované běhy.
4. Přidejte nebo zpřísněte limity tokenů pro organizaci/tým/uživatele.
5. Pozastavte pracovní toky s vysokým objemem, pokud je to nutné.
6. Zkontrolujte, zda agent používá zbytečně dlouhý kontext, soubory nebo opakovaná volání nástrojů.

Veřejný Agent Odpověděl Špatně

1. Zkontrolujte konverzaci a zpětnou vazbu.
2. Potvrďte, že veřejný agent má správný pokyn a povolené nástroje.
3. Zkontrolujte nahrané soubory, kontext veřejné stránky a sbírky dat.
4. Zkontrolujte, zda nastavení veřejného chatu umožňují zpětnou vazbu, nahrávání a chování související s ochranou soukromí, jak bylo zamýšleno.
5. Opravit pokyn nebo zdroj dat, poté znovu otestovat prostřednictvím veřejné/celkové cesty.

Provozní Rytmus

První týden po spuštění denně kontrolujte Vykonání Nástrojů a zpětnou vazbu. Po stabilizaci kontrolujte týdně pro produkční týmy a po každé větší změně.

Použijte jednoduchou měsíční revizi:

• odstraňte neaktivní uživatele a týmy,
• rotujte nebo odstraňte nepoužívané API klíče,
• deaktivujte nepoužívané webhooky,
• zkontrolujte sdílená připojení a potvrzení funkcí,
• zkontrolujte limity tokenů vůči využití,
• zkontrolujte agenty a pracovní toky s vysokým rizikem,
• potvrďte, že veřejné funkce jsou stále zamýšlené.