Monitorování Použití, Auditní Záznamy a Riziko
Po spuštění potřebují administrátoři důkazní stopu o tom, co uživatelé spustili, jaké nástroje se změnily, která konfigurace se změnila a zda agenti pomáhají nebo vytvářejí riziko. Používejte Vykonání Nástrojů, Auditní Záznam, konverzace, zpětnou vazbu, analytiku, historii pracovních toků a využití tokenů jako samostatné signály.
Co Monitorovat
| Signál | Použijte to pro |
|---|---|
| Vykonání Nástrojů | Volání nástrojů, stav, argumenty, výsledky, schválení, selhání a čas vykonání |
| Auditní Záznam | Změny konfigurace a přístupu s uživatelským jménem, entitou, časovým razítkem, korelačním ID a změněnými poli |
| Konverzace | Skutečné chování uživatelů, mezery v pokynech, nesprávné odpovědi a vystavení citlivým datům |
| Zpětná vazba | Negativní hodnocení, opravy uživatelů a kandidáti na zlepšení |
| Analytika Agenta | Využití, tokeny, aktivní uživatelé, výkon a trendy adopce |
| Historie Pracovních Toků | Změny v logice pracovního toku a chování běhu |
| Limity Tokenů | Kontrola rozpočtu pro sdílené modelové připojení podle organizace, týmu nebo uživatele |
Vykonání Nástrojů
Používejte Vykonání Nástrojů kdykoli agent nebo pracovní tok používá funkci připojení, REST nástroj, MCP nástroj, systémový nástroj nebo akci podobnou sub-agentovi.
Při odstraňování problémů zkontrolujte tyto oblasti:
- agent a konverzaci,
- akci/funkci,
- stav: Čekající, Úspěch, Selhalo nebo Čeká na Schválení,
- vstupní argumenty,
- výsledek a chybovou zprávu,
- zda bylo vyžadováno schválení,
- kdo schválil nebo zamítl,
- čas vyřešení,
- čas vykonání, pokud je k dispozici.
Pokud uživatel říká "agent udělal špatnou věc", začněte zde před úpravou pokynů. Vykonání Nástrojů ukazuje, co bylo skutečně odesláno do nástroje.
Auditní Záznam
Používejte Auditní Záznam pro změny konfigurace a přístupu. Záznamy auditu zahrnují změněnou entitu, typ změny, uživatele, organizaci, časové razítko, korelační ID a změněné vlastnosti. Párujte data auditu Siesta s protokoly z připojeného externího systému při vyšetřování změn záznamů.
Revize auditu je obzvlášť důležitá po:
- změnách SSO nebo bezpečnosti organizace,
- změnách členství v týmu,
- změnách přístupové politiky,
- změnách přihlašovacích údajů pro připojení,
- změnách pokynů/nástrojů/dat agenta,
- úpravách pracovního toku,
- změnách API klíče nebo webhooku.
Incidentní Příručky
Nástroj Selhal
- Otevřete Vykonání Nástrojů a najděte selhanou akci.
- Zkontrolujte argumenty, výsledek, chybovou zprávu a připojení.
- Ověřte, že externí přihlašovací údaje stále fungují.
- Zkontrolujte, zda organizace nezakázala poskytovatele nebo funkci.
- Znovu otestujte s bezpečným vstupem.
- Pokud je selhání specifické pro uživatele, zkontrolujte vlastnictví soukromého připojení.
Akce pro Zápis Potřebuje Schválení
- Potvrďte, že funkce je záměrně v režimu potvrzení.
- Zkontrolujte argumenty a cílový záznam před schválením.
- Pokud jsou schválení příliš hlučná, oddělte bezpečné čtecí/návrhové funkce od funkcí pro zápis.
- Neodstraňujte potvrzení od zákazníka, finančních, mazacích, publikujících nebo akcí měnících oprávnění bez schválení vlastníka.
Využití Tokenů Vzrostlo
- Identifikujte připojení modelu.
- Zkontrolujte využití podle agenta, pracovního toku, týmu a uživatele.
- Zkontrolujte nedávné změny pracovního toku a automatizované běhy.
- Přidejte nebo zpřísněte limity tokenů pro organizaci/tým/uživatele.
- Pozastavte pracovní toky s vysokým objemem, pokud je to nutné.
- Zkontrolujte, zda agent používá zbytečně dlouhý kontext, soubory nebo opakovaná volání nástrojů.
Veřejný Agent Odpověděl Špatně
- Zkontrolujte konverzaci a zpětnou vazbu.
- Potvrďte, že veřejný agent má správný pokyn a povolené nástroje.
- Zkontrolujte nahrané soubory, kontext veřejné stránky a sbírky dat.
- Zkontrolujte, zda nastavení veřejného chatu umožňují zpětnou vazbu, nahrávání a chování související s ochranou soukromí, jak bylo zamýšleno.
- Opravit pokyn nebo zdroj dat, poté znovu otestovat prostřednictvím veřejné/celkové cesty.
Provozní Rytmus
První týden po spuštění denně kontrolujte Vykonání Nástrojů a zpětnou vazbu. Po stabilizaci kontrolujte týdně pro produkční týmy a po každé větší změně.
Použijte jednoduchou měsíční revizi:
- odstraňte neaktivní uživatele a týmy,
- rotujte nebo odstraňte nepoužívané API klíče,
- deaktivujte nepoužívané webhooky,
- zkontrolujte sdílená připojení a potvrzení funkcí,
- zkontrolujte limity tokenů vůči využití,
- zkontrolujte agenty a pracovní toky s vysokým rizikem,
- potvrďte, že veřejné funkce jsou stále zamýšlené.
Monitorování modelových limitů
Při náhlém růstu spotřeby nejprve vyberte správné LLM připojení v Analytics > Limits. Porovnejte all-model využití s Utilization by model a určete Organization, Team nebo User hranici nejblíže vyčerpání. Potom zkontrolujte nedávné změny agentů a workflow.
Podle příčiny upravte obecný default připojení, modelový default nebo odůvodněný User/Team override. Disabled override pouze vrací subjekt k defaults a neblokuje přístup. Pokud incident vyžaduje zastavení provozu, pozastavte objemné workflow nebo změňte access/governance pravidla.
Diagnostika datového inventáře
Pokud kolekce vypadá neúplná, otevřete Analytics > Data a ověřte očekávanou kolekci, typ zdroje, počet souborů a uložený objem. Storage Breakdown porovnává inventář podle kolekce, zdroje, typu zdroje nebo autora.
RAG Data Ingested Over Time by User je aktuální indexovaný objem seskupený podle data prvního objevení a autora zdroje; není to přehled synchronizačních běhů. Pro konkrétní chybu otevřete stavy dokumentů, chunky a source Logs a pokračujte podle Processing, Sync, and Troubleshooting.