Gouvernance de l’IA agentique : concevoir pour garantir la responsabilité et le contrôle

Delphine Massenhove

Read this post in other languages:

• English

Un grand nombre d’organisations déploient déjà des workflows agentiques. Certains sont encore expérimentaux, tandis que d’autres sont passés en production.

Lorsqu’un agent d’IA est habilité à agir au nom d’une organisation, l’enjeu ne réside plus dans son utilité, mais dans la gestion des conséquences en cas de défaillance.

Il est tentant de chercher un responsable : le fournisseur de la solution d’IA, le manager, l’ingénieur ou encore l’employé dont les données ont servi à entraîner le modèle. Mais vous ne pouvez pas attendre une défaillance pour mettre en place votre gouvernance. La responsabilité doit être intégrée au système dès sa conception, au moyen de mécanismes d’autorisation, de limites d’action, de supervision et de traçabilité.

Les entreprises n’achètent pas seulement des capacités d’IA. Elles achètent aussi de la confiance et du contrôle opérationnel. 

Réfléchissez à la chaîne de responsabilité

Les systèmes agentiques ont besoin d’une place clairement définie au sein du modèle opérationnel de l’organisation. Lorsqu’un agent d’IA approuve un bon de commande ou met à jour une fiche client, il agit pour le compte d’une personne ou d’une fonction spécifique, telle que le marketing ou l’informatique.

Cette responsabilité a son importance. Une personne doit être investie de l’autorité nécessaire pour répondre des résultats : valider la logique métier, superviser le comportement du système et intervenir lorsque celui-ci dérive de son fonctionnement attendu. Mettre en place une gouvernance ne signifie pas qu’il faille surveiller chaque appel d’API. Elle repose sur une attribution claire des responsabilités. Sans cela, les responsabilités se diluent dans l’organigramme de l’entreprise.

Définissez clairement vos limites de fonctionnement.

La flexibilité des grands modèles de langage (LLM) hébergés dans le cloud incite à leur accorder d’emblée de larges autorisations. En pratique, c’est là que le risque commence. Une question essentielle en matière de gouvernance n’est pas : « Qui est responsable en cas de fuite de données ? », mais plutôt : « Cet agent aurait-il dû être autorisé à accéder à ce système ? » L’octroi d’autorisations excessives crée une exposition inutile.

La gouvernance à grande échelle nécessite une approche cohérente des garde-fous, de la gestion des accès et des contrôles sur l’ensemble des agents et des workflows, capable de s’adapter à la croissance du nombre d’agents, d’équipes et de systèmes. JetBrains Central a été conçu pour répondre à ce besoin : intégrer la gouvernance directement dans l’infrastructure de développement, plutôt que de la considérer comme un élément rajouté après coup, une fois les workflows d’IA déjà en production.

Traitez les agents comme de nouvelles recrues. Ne laissez pas un agent d’IA improviser sur la politique de remboursement ou accéder aux systèmes de RH sans autorisation. Accordez-lui plutôt une autonomie progressive. Limitez l’agent à un périmètre d’action restreint et imposez-lui des règles d’interdiction absolues (« ne jamais ») tant que vous n’êtes pas certain qu’il est capable d’assumer davantage de responsabilités.

Mettez en place une piste d’audit efficace

Les applications traditionnelles suivent des chemins de code déterministes. Lorsqu’un incident survient, les journaux d’exécution permettent d’en retracer l’origine. Les agents basés sur des LLM ne se comportent pas ainsi. La même entrée peut produire des sorties différentes selon le contexte, le modèle, l’état du système et même le moment. La traçabilité est donc essentielle.

Une piste d’audit pertinente doit permettre de consigner : qui a initié l’action, l’intention ou le workflow qui l’a déclenchée, les systèmes et les données auxquels l’agent a accédé, les résultats qu’il a produits ou les modifications qu’il a apportées, l’éventuelle violation d’une politique de sécurité ou de gouvernance, ainsi que la durée d’exécution et le coût de l’opération.

C’est là que les outils prennent toute leur importance. Chez JetBrains, nous considérons cela comme un problème produit concret. Un tableau de bord d’audit de l’IA doit permettre d’inspecter le comportement des agents au niveau de chaque action et de chaque workflow, sans laisser place à l’interprétation ou aux conjectures.

Gardez un humain dans la boucle stratégique

Par exemple, un agent qui approuve automatiquement les factures de plus de 10 000 $ devrait afficher, pour chaque approbation, un indicateur de risque, la règle de gouvernance ou de politique qu’il a appliquée, ainsi qu’un lien permettant à un réviseur de l’examiner, plutôt qu’un simple horodatage dans un fichier journal. La révision humaine a son importance, mais certaines approches sont meilleures que d’autres. Une approbation systématique n’est pas la bonne approche, pas plus qu’exiger une validation manuelle pour chaque action.

La solution consiste à concevoir des workflows avec des points de contrôle pertinents et une évaluation des risques. Laissez l’agent gérer de manière autonome les tâches de routine, mais signalez les actions à fort impact pour une révision par un humain.

Les organisations peuvent accroître progressivement l’autonomie d’un agent, mais uniquement lorsqu’il existe des preuves claires de l’efficacité des contrôles et que le système continue de fonctionner dans le respect des politiques établies. Les seuils doivent s’appuyer sur des données probantes, pas sur une intuition. Cela permet de maintenir l’intervention humaine là où le discernement est essentiel, tout en laissant le système passer à l’échelle.

Réduire l’impact potentiel des incidents et définir clairement les responsabilités.

Deux autres aspects deviennent centraux pour la confiance des entreprises :

• Isolation : les agents doivent opérer dans des environnements contrôlés, avec des identifiants à périmètre restreint, un rayon d’impact limité et des capacités de retour en arrière (rollback). En cas de problème, les dommages doivent être contenus. Il s’agit d’un principe classique d’isolation des défaillances appliqué aux systèmes autonomes, particulièrement critique lorsque l’acteur est non déterministe.

• Indemnisation : l’autre question que les entreprises soulèvent systématiquement concerne la responsabilité lorsque des incidents surviennent, en particulier en matière de propriété intellectuelle. Un fournisseur de confiance ne propose pas seulement des outils, mais aussi des garanties contractuelles et techniques encadrant la responsabilité et la gestion des risques.

La gouvernance est une décision produit

La gouvernance ne se rajoute pas après coup. Elle fait partie intégrante de l’architecture, des workflows et des relations que crée un produit. Les organisations qui considèrent la gouvernance comme une fonctionnalité essentielle avanceront plus rapidement, résoudront les problèmes de manière plus propre, fonctionneront avec des périmètres plus clairs et auront la confiance nécessaire pour laisser des agents d’IA effectuer des tâches utiles sans supervision constante.

Concevoir pour la responsabilité signifie qu’en cas de problème (et des problèmes finissent toujours par survenir), vous savez déjà qui en est responsable, ce que l’agent a fait et comment corriger cela. C’est la condition de la viabilité de l’IA agentique dans l’entreprise. Et c’est là que débute le véritable travail.

Nous travaillons avec un petit groupe d’organisations triées sur le volet afin d’explorer ces défis en pratique. Cliquez ici pour devenir partenaire de conception de JetBrains Central.

Auteur de l’article original en anglais :

Orit Golowinski