Rámec governance AI agentů

1. Začněte principy governance

Model governance by měl začínat malým počtem principů, které se konzistentně používají napříč celým portfoliem agentů. Principům musí rozumět vlastníci produktů, vývojáři, risk, compliance i business uživatelé.

Nejdůležitějšími principy jsou dohledatelné vlastnictví, minimální potřebná oprávnění, přiměřenost kontrol, lidská odpovědnost, důkazy už od návrhu a řízené změny. Vyšší riziko má znamenat silnější kontroly, nikoli stejný proces pro každý use case.

• Každý agent má určeného vlastníka za obchodní oblast a technického vlastníka.
• Každý agent funguje v rámci jasně definovaného účelu a hranice oprávnění.
• Přístup k systémům, datům a akcím dodržuje princip minimálních oprávnění.
• Lidský dohled odpovídá možným důsledkům chyby.
• Důkazy o testování a schválení jsou uchované a reprodukovatelné.
• Významné změny spouštějí nové posouzení místo tichého rozšiřování schopností.

2. Udržujte autoritativní inventář agentů

Organizace nemůže řídit agenty, které nedokáže identifikovat. Podnikový inventář je proto základním kontrolním mechanismem governance.

Inventář nemá být jen seznam názvů. Musí poskytovat dostatek informací k pochopení toho, co agent dělá, kde běží, k jakým systémům má přístup a kdo za něj odpovídá.

• Název agenta, verze a stav životního cyklu.
• Business účel a zamýšlení uživatelé.
• Vlastník za obchodní oblast, technický vlastník a vlastník podpory.
• Prostředí Microsoft, řešení a místo nasazení.
• Připojené systémy, konektory, nástroje a kategorie dat.
• Oprávnění k akcím a transakční pravomoci.
• Klasifikace rizika a požadovaná úroveň schválení.
• Model lidského dohledu.
• Testovací důkazy, stav certifikace a datum poslední revize.

3. Klasifikujte riziko před nasazením

Klasifikace rizika určuje, jak silnou governance agent potřebuje. Rozhodující není jen použitý model, ale to, co celý agent může vidět, rozhodovat a dělat.

Informační agent s přístupem pouze pro čtení je zásadně odlišný od agenta, který může schvalovat transakce, komunikovat externě, měnit záznamy nebo spouštět navazující procesy.

CAI Score je strukturovaný přístup ColleagueAI ke klasifikaci rizika podnikových agentů. Posuzuje autonomii, dopad, citlivost dat, přístup k nástrojům, reverzibilitu, dohled a požadavky governance. Klasifikace má proběhnout před nasazením a znovu při významné změně schopností.

4. Oddělte business odpovědnost od technického vlastnictví

Technické týmy mohou agenta vytvářet a udržovat, ale neměly by být jediným vlastníkem business výsledku. Business funkce, která agenta používá, musí zůstat odpovědná za proces a jeho důsledky.

Vyspělý model proto rozlišuje business vlastnictví, technické vlastnictví a nezávislé governance assurance. Tím se zabrání tomu, aby odpovědnost zmizela mezi IT a provozem.

Model vlastnictví by měl zároveň jasně vymezovat rozhodovací pravomoci. Vlastník za obchodní oblast schvaluje zamýšlený účel, přijatelné výsledky a významné změny procesu, zatímco technický vlastník odpovídá za integritu komponent řešení, konfigurace a technických kontrol. Funkce governance, řízení rizik, bezpečnosti nebo compliance mohou poskytovat nezávislou kontrolu a oponenturu, ale neměly by nahrazovat jasnou odpovědnost obchodního vlastníka.

5. Řiďte identity, přístupy a oprávnění nástrojů

Schopnosti agenta jsou do značné míry určeny systémy a akcemi, ke kterým má přístup. Governance proto musí pracovat s konektory, přístupovými údaji, servisními identitami a oprávněními jako s plnohodnotnými kontrolními prvky.

Oprávnění musí odpovídat pouze tomu, co je nutné pro schválený use case. Pokud je to možné, vysoce dopadové akce mají být oddělené od nízkorizikového vyhledávání a analýzy.

• Používejte dedikované identity tam, kde to platforma a architektura umožňují.
• Omezte konektory a akce pouze na schválené use cases.
• Nedávejte široká oprávnění jen kvůli pohodlnému vývoji.
• Privilegované akce zaznamenávejte do auditovatelných logů.
• Pro nevratné nebo vysoce dopadové akce používejte schvalovací brány.
• Při změně workflow nebo integrace znovu ověřte oprávnění.

6. Navrhněte lidský dohled přímo do workflow

Lidský dohled nemá být jen obecné prohlášení, že člověk zůstává odpovědný. Musí přesně určit, kde lidé kontrolují, schvalují, zasahují nebo agenta zastavují.

Správný model závisí na riziku. Někteří agenti mohou autonomně pracovat v úzce vymezených nízkorizikových úlohách. Jiní vyžadují schválení člověka před významnou akcí. Vysoce rizikové use cases mohou vyžadovat průběžný dohled nebo nemusí být vhodné pro autonomní provádění vůbec.

Kontrola by měla přesně určit okamžik zásahu, osobu provádějící kontrolu, informace, které má tato osoba k dispozici, a kroky, které je oprávněna provést. Formální schvalovací krok nestačí, pokud člověk nedokáže navrhovaný výsledek pochopit nebo jej zastavit. Lidský dohled by proto měl být testován jako skutečná provozní kontrola, nikoli pouze popsán v interní směrnici.

7. Testujte agenta jako celý systém, ne pouze prompt

Assurance agenta vyžaduje testování kompletního workflow. Kvalita promptu je důležitá, ale stejně důležitá jsou oprávnění, volání nástrojů, chování při chybě, práce s daty, eskalační logika, kvalita výstupů a zotavení z neočekávaných vstupů.

Produkční balíček má uchovávat důkazy o tom, co bylo testováno, jaké bylo očekávané chování, jaká jsou známá omezení a která verze testem prošla.

• Funkční a scénářové testování.
• Testování oprávnění a konektorů.
• Chybové a výjimečné scénáře.
• Schvalovací a eskalační cesty.
• Práce s citlivými daty.
• Kritéria kvality výstupu.
• Logování a tvorba důkazů.
• Regresní testování po významných změnách.

8. Z nasazení udělejte řízené předání

Balíčkovaný agent musí mít jasnou hranici nasazení. Dodavatel může dodat otestovaný balíček řešení, dokumentaci, pokyny ke konfiguraci, governance důkazy a instrukce k nasazení, ale zákazník spravuje vlastní tenant a provozní prostředí.

U produktů ColleagueAI zůstává nasazení a runtime v prostředí Microsoft zákazníka. Konfiguraci specifickou pro tenant, integrace, nasazení a provoz provádí zákazník nebo jeho schválený implementační partner.

Řízené předání by mělo rovněž popsat předpoklady, proměnné prostředí, reference připojení, požadované role, známá omezení a kroky ověření po importu. Zákazník nebo implementační partner tak může reprodukovat otestovanou konfiguraci bez závislosti na nezdokumentovaných znalostech původního vývojáře. Nasazená verze musí zůstat dohledatelně propojena s balíčkem a důkazy, které byly schváleny.

9. Sledujte provozní riziko a významné změny

Schválení při spuštění není konec governance. Chování agenta se může změnit při změně promptů, modelů, nástrojů, oprávnění, znalostních zdrojů nebo připojených systémů.

Průběžná governance se proto musí zaměřovat na významné změny, výjimky, incidenty, vzorce používání, override schválení a důkazy, že nasazená konfigurace stále odpovídá schválenému návrhu.

Monitoring by měl být propojen s jasně definovanými spouštěči nové kontroly. Může jít například o nový konektor, širší oprávnění, jiný model, nový zdroj znalostí, nárůst manuálních zásahů, opakované výjimky nebo změnu obchodního procesu. Tyto signály by měly určovat, kdy agent vyžaduje prověření, nápravu, recertifikaci nebo nové governance rozhodnutí, namísto toho, aby zůstával schválen bez časového omezení.

10. Řiďte vyřazení stejně důsledně jako spuštění

Nepoužívaní nebo nahrazení agenti by neměli neomezeně držet neaktivní přístupy. Vyřazení má odebrat oprávnění, deaktivovat integrace, archivovat důkazy a aktualizovat podnikový inventář.

Řádný proces vyřazení snižuje plochu útoku a brání tomu, aby organizace hromadila AI schopnosti bez vlastníka.

Vyřazení agenta by mělo uzavřít také jeho provozní a governance závislosti. Vlastníci musí potvrdit, že naplánované toky jsou vypnuté, servisní přístupové údaje jsou podle potřeby zneplatněny, navazující integrace již agenta neočekávají, důkazy jsou uchovány podle interních pravidel a uživatelé jsou případně přesměrováni na náhradní proces. Inventář by měl zaznamenat datum vyřazení i konečný stav agenta.

Často kladené otázky