Auditovatelnost AI
Auditní stopa AI by měla vysvětlit, kdo inicioval interakci, jaká konfigurace a data na ni měla vliv, jaká akce byla navržena nebo provedena a kdo akci schválil.
Model důkazů
| Kategorie události | Důkazy k uchování |
|---|---|
| Uživatelská interakce | Uživatel, organizace, agent, konverzace, časová značka, metadata požadavku a odpovědi |
| Konfigurace agenta | Verze agenta nebo záznam o změně, připojení modelu, nástroje, dovednosti, paměť, datové sbírky |
| Vyhledávání | Identifikátory sbírky a zdroje, relevantní metadata vyhledávání, kontext autorizace |
| Provádění nástroje | Funkce, očištěné argumenty, výsledek, stav, trvání, připojení, cílový systém |
| Schválení | Požadavek, schvalující osoba, rozhodnutí, časová značka, důvod, pokud je k dispozici |
| Administrativní změna | Aktér, entita, změněné vlastnosti, časová značka, korelační ID |
| Operace poskytovatele | Nasazení, region nebo datová zóna, kvóta, protokoly služeb, korelace požadavků, pokud je k dispozici |
Vyhněte se zapisování přihlašovacích údajů, přístupových tokenů, kompletních tajných hodnot nebo zbytečných citlivých dat do protokolů.
Použijte správný zdroj důkazů
- Provádění nástrojů vysvětluje, co se agent pokusil provést prostřednictvím nástroje a zda to bylo úspěšné.
- Auditní protokol vysvětluje změny konfigurace platformy a přístupu.
- Konverzace a zpětná vazba poskytují kontext uživatele a kvalitní důkazy.
- Historie pracovních postupů poskytuje změny v opakovatelných automatizacích.
- Protokoly externího poskytovatele potvrzují, co se stalo v cílovém systému.
- Monitorování Azure nebo poskytovatele modelu poskytuje důkazy o nasazení, kvótě, latenci a na straně poskytovatele.
Použijte korelační identifikátory a časové značky k propojení těchto zdrojů během vyšetřování. Definujte uchovávání na základě právních, bezpečnostních, podpůrných a soukromých požadavků, místo abyste uchovávali každý payload na neurčito.
Viz Auditní protokol, Provádění nástrojů a Odpověď na incidenty.