Bezpečnost a kvalita AI

Systém může být bezpečný a přesto produkovat nepřesné, zaujaté, neprůhledné nebo nevhodné výsledky. Bezpečnost AI kombinuje technickou ochranu s hodnocením kvality a lidským dohledem.

Oblasti bezpečnosti

Oblast	Praktická kontrola
Transparentnost	Informujte uživatele, když interagují s AI a když je obsah generován AI, kde je to vyžadováno
Přesnost	Zakládejte důležité odpovědi na schválených zdrojích a ukazujte kontext zdroje, kde je to možné
Spolehlivost	Testujte reprezentativní, hraniční, protivní a selhávající případy před spuštěním
Lidský dohled	Vyžadujte revizi pro výstupy a rozhodnutí s vysokým dopadem
Spravedlnost	Přezkoumávejte případy použití zahrnující zaměstnání, přístup, hodnocení nebo rozhodnutí týkající se lidí
Bezpečnost obsahu	Nakonfigurujte kategorie a prahy pro zamýšlené publikum
Ochrana soukromí	Minimalizujte osobní údaje v výzvách, kontextu, protokolech a hodnotících datech
Nepřetržité zlepšování	Využívejte zpětnou vazbu, analytiku, zjištění incidentů a kontrolované změny konfigurace

Hodnotící sada

Vytvořte verzovanou testovací sadu pro každého produkčního agenta. Zahrňte:

• očekávané každodenní otázky,
• otázky, které by měly být odmítnuty nebo eskalovány,
• nejednoznačné a neúplné žádosti,
• zastaralé nebo konfliktní zdroje,
• pokusy o získání nedostupných dat,
• přímou a nepřímou injekci výzev,
• selhání nástrojů a odmítnutí schválení,
• hranice škodlivého obsahu relevantní pro publikum.

Zaznamenejte konfiguraci agenta, nasazení modelu, datum, očekávané chování, skutečný výsledek, recenzenta a rozhodnutí o vydání. Znovu spusťte sadu po změně výzev, modelů, nástrojů, dat, paměti, bezpečnostních nastavení nebo veřejné expozice.

Filtry produktů jsou nakonfigurovány v Organizační bezpečnosti. Doplní, ale nenahradí hodnocení případů použití.