Správa modelů
Nesnažte se automaticky vybrat nejvýkonnější model. Udržujte schválené portfolio, které odpovídá modelům a nasazením podle citlivosti použití, kvality, nákladů, latence, propustnosti, dostupnosti a požadavků na místo zpracování.
Registr modelů
Pro každé schválené připojení modelu zaznamenejte:
| Pole | Proč je to důležité |
|---|---|
| Poskytovatel a rodina modelů | Smlouva, schopnosti, podpora a vlastnictví rizika |
| Název a typ nasazení | Konfigurace runtime a hranice zpracování |
| Oblast nebo datová zóna | Rezidence a provozní přezkum |
| Schválené případy použití | Zabraňuje náhodnému použití v nevhodných scénářích |
| Stav náhledu nebo produkce | Podmínky a chování náhledu se mohou lišit |
| Vstupní/výstupní modality | Definuje datové typy, které model může přijímat a produkovat |
| Výsledek hodnocení | Ukazuje důkazy o kvalitě a bezpečnosti pro zamýšlené použití |
| Kvóta, limity a vlastník nákladů | Podporuje kontrolu kapacity a rozpočtu |
| Datum ukončení nebo přezkumu | Zabraňuje neřízenému odchylování modelu a riziku konce životnosti |
Vzor portfolia
Používejte modely s vysokou schopností uvažování pro složité plánování a analýzu, menší efektivní modely pro vysoký objem extrakce nebo klasifikace, modely pro vkládání pro vyhledávání a specializované audio nebo obrazové modely pouze tam, kde je to nutné. Oddělte vysoce regulované nebo deterministické pracovní zátěže od obecných asistentů.
Pokud je použit router modelů, schvalte režim směrování a povolenou podmnožinu modelů. Router nezbavuje potřeby přezkoumat každý možný základní model a místo zpracování nasazení.
Kontrola změn
Znovu vyhodnoťte produkční agenta, když poskytovatel změní verzi modelu, náhled se stane obecně dostupným, model je ukončen, změní se členství ve směrování nebo se změní typ nasazení. Zachovejte předchozí výsledek hodnocení a rozhodnutí o návratu.