Observabilita

Monitorování produkce by mělo ukazovat zdraví uživatelského rozhraní, závislosti služeb, chování AI a vyhledávání, provádění nástrojů, zpracování na pozadí, bezpečnostní události a tlak na náklady nebo kvóty.

Signály

Signál	Příklady
Dostupnost	Zdraví příchozího provozu a API, syntetické kontroly, úspěšná autentizace
Výkon	Latence požadavků, latence modelu, latence vyhledávání, doba trvání nástroje
Spolehlivost	Míra chyb, časové limity, opakování, hloubka fronty, selhání ingestí, mrtvé zprávy
Kapacita	CPU, paměť, repliky, zatížení databáze, kvóty pro vyhledávání a modely
Operace AI	Tokeny, nasazení modelu, bezpečnostní bloky, selhání hodnocení
Bezpečnost	Neúspěšný přístup, změny politiky, neobvyklé používání nástrojů, přístup k tajným úložištím
Obchodní operace	Úspěch nástroje, schvalovací zpoždění, dokončení pracovního postupu, aktivní uživatelé

Korelace

Propagujte identifikátor korelace prostřednictvím příchozího provozu, API, pracovního postupu, vyhledávání, provádění nástrojů a volání externích poskytovatelů, kde je to možné. Udržujte časové razítka synchronizovaná a zaznamenávejte prostředí, službu, verzi nasazení, agenta, konverzaci, identifikátory pracovního postupu a provádění nástrojů potřebné pro vyšetřování.

Návrh upozornění

Každé upozornění potřebuje vlastníka, závažnost, akční prahovou hodnotu, cestu notifikace, provozní příručku a cestu eskalace. Začněte s chybami, které ovlivňují uživatele nebo data, a poté přidejte upozornění na kapacitu a anomálie. Vyhněte se upozorněním, která nemohou vést k jasné akci.

Definujte panely a upozornění pro:

• dostupnost a zvýšenou míru chyb,
• selhání databáze, úložiště, vyhledávání a tajných úložišť,
• zpoždění ingestí a opakované chyby zpracování,
• omezování modelu a vyčerpání kvót,
• selhání nebo neobvykle dlouhé provádění nástrojů,
• schvalovací fronty, které zastavují obchodní pracovní postupy,
• neočekávaný růst tokenů nebo nákladů,
• selhání zálohování a obnovy.

Párujte telemetrii infrastruktury s AI Auditability.