Odpověď na incidenty AI
Incidenty AI mohou zahrnovat neoprávněné akce nástrojů, vystavení citlivých dat, škodlivě získaný obsah, nebezpečný výstup, neočekávané chování modelu nebo ztrátu důkazů o auditu. Použijte příručku, která uchovává důkazy před změnou konfigurace.
První reakce
- Zaznamenejte čas, hlášení, dotčenou organizaci, agenta, pracovní postup a externí systém.
- Uchovejte konverzaci, provedení nástroje, záznam auditu, korelační ID a protokoly poskytovatele.
- Zastavte další dopady tím, že zakážete dotčenou funkci, připojení, pracovní postup, veřejné rozhraní nebo agenta.
- Zrušte nebo změňte přihlašovací údaje, pokud je možné vystavení nebo zneužití přihlašovacích údajů.
- Identifikujte dotčená data, uživatele, příjemce, záznamy a prostředí.
- Přiřaďte vlastníka incidentu a vlastníka komunikace.
Vyšetřovací otázky
- Byla iniciující identita autorizována?
- Obsahoval uživatelský podnět, získaný dokument, webová stránka, e-mail nebo odpověď nástroje škodlivé instrukce?
- Který podnět, dovednost, paměť, datový soubor, model a konfigurace nástroje byly aktivní?
- Schválil akci člověk a jaký kontext schválení byl zobrazen?
- Co zaznamenal externí poskytovatel jako konečnou akci?
- Lze změnu vrátit a ovlivnila stejná konfigurace jiné provedení?
Obnova
Izolace není konečné řešení. Opravit nejúžeji selhávající kontrolu, poté znovu otestovat:
- zúžit rozsah dat nebo nástroje,
- změnit politiku funkce,
- zlepšit validaci argumentů nebo kontext schválení,
- odstranit nebo znovu zpracovat kontaminovaný obsah,
- aktualizovat hranici podnětu nebo dovednosti,
- přidat regresní test,
- obnovit nebo opravit externí záznamy,
- zdokumentovat rozhodnutí a zbytkové riziko.
Po obnově zkontrolujte podobné agenty, připojení a pracovní postupy na stejnou podmínku. Dodržujte příslušné smluvní, regulační, ochranné a postupy oznámení zákazníkům.
Viz Monitorování používání, záznamy auditu a riziko pro běžné provozní příručky.