Nasazení modelu a umístění dat
Typ nasazení modelu Azure určuje, kde může být zpracovávána inference, a také ovlivňuje kapacitu, latenci, dostupnost a náklady. Umístění zdroje Azure samo o sobě neodpovídá na otázku zpracování inference.
Zpracovatelské hranice
| Rodina nasazení | Zpracování inference | Typické úvahy |
|---|---|---|
| Globální | Může využívat globální infrastrukturu Azure | Široká dostupnost modelu a kvóta; není vhodné, když musí zpracování zůstat v jedné zóně nebo regionu |
| Datová zóna | Zůstává v datové zóně definované Microsoftem, například v EU | Hranice zóny s širším směrováním než jedna region |
| Regionální nebo geograficky založené | Využívá vybranou regionální/geografickou hranici, kde je to podporováno | Přísnější požadavek na umístění; dostupnost a kvóta mohou být užší |
| Rezervované varianty | Rezervovaná kapacita v rámci vybraného zpracovatelského rozsahu | Předvídatelný průchod a nižší variabilita latence |
Ne každý model podporuje každý typ nasazení nebo region. Ověřte dostupnost během návrhu a znovu před nasazením do produkce.
Kontrolní seznam pro revizi
- Zaznamenejte přesný typ nasazení, nejen region zdroje.
- Oddělte data uložená v klidu od výzev a odpovědí zpracovávaných pro inference.
- Zkontrolujte stavové funkce, dávkové zpracování, jemné ladění, uložené dokončení a funkce náhledu odděleně.
- Potvrďte úplný povolený podmnožin modelu směrovače modelu.
- Dokumentujte chování monitorování zneužívání poskytovatele a bezpečnosti obsahu, které se vztahuje na předplatné.
- Znovu zkontrolujte návrh při změně modelu, typu nasazení, regionu nebo funkce poskytovatele.
Pro požadavky EU používejte datovou zónu EU nebo regionální nasazení pouze tam, kde požadovaný model podporuje, a ověřte aktuální dokumentaci Microsoftu a politiku zákazníka. Globální nasazení mohou zpracovávat výzvy a odpovědi mimo EU, i když je samotný zdroj Azure umístěn v Evropě.
Oficiální odkazy: