Le mercredi 09 avril s’est tenue au Palais des Congrès la session 2025 de l’AWS Summit Paris, grand événement au cours duquel AWS met en avant ses produits et services cloud et des retours d’expérience sur des cas d’usage autour notamment de l’IA Générative, de la data, du développement durable, de la sécurité…
Parmi les conférences proposées lors de l’AWS Summit Paris, notre attention a notamment été attirée par un sujet portant sur les enjeux de sécurisation et de souveraineté des LLM, dans un contexte de passage à l’échelle et de concurrence des modèles.
Le contexte
Nous visons dans une ère marquée à la fois par une forte instabilité géopolitique et économique, où les amis et règles du jeu d’hier ne sont plus forcément ceux et celles d’aujourd’hui, et par une digitalisation constante et massive de nos environnements économique, culturel et social.
De fait, la garantie de souveraineté de nos environnements informatiques et des données qu’ils hébergent retrouve une légitimité qui semblait un peu éteinte ces derniers temps. Et ce n’est pas Patrick Pouyané, PDG de Total Énergies, qui dira le contraire, lui qui a appelé de ses vœux à la constitution d’un cloud souverain européen, lors du forum InCyber qui se tenait à Lille début avril. Ni Eric Haddad, président de la plateforme NumSpot, lancée début avril, et qui regroupe des services de gestion de la data et de l’IA hébergés sur un cloud souverain et managés par Docaposte, Bouygues Telecom, Dassault Systèmes et la Banque des territoires.
La conférence à laquelle nous avons assisté, animée par Hédi Aloui et Nicolas Renaud, partners chez Reply, cabinet de conseil en intégration, était donc pleinement d’actualité. Elle visait à présenter le retour d’expérience de deux entreprises ayant construit sur plusieurs années tout un dispositif technique et de gouvernance pour sélectionner, analyser et déployer de façon sécuritaire et souveraine les LLM support à leurs cas d’usage d’IA.
Les deux entreprises en question étaient Ayming, société de conseil en RH et Innovation (représentée par Xavier Quilliet, CIO et Janis Goetz, DPO) et le Crédit Agricole, (représenté par Matthieu Capron, responsable Design Authority IA et Aymen Shabou, CTO et Head of AI).
Comment s’est fait l’arrivée de l’IA Gen dans l’environnement client ?
Ayming, de par son métier, traite beaucoup de données clients structurées et non structurées, et a très vite réalisé les bénéfices à s’appuyer sur l’IA Gen à toutes les étapes de ses processus de traitement.
Les travaux autour de l’IA Gen ont commencé en 2022 autour de quelques PoC, qui ont permis de rédiger un position paper en juillet 2023. Sur cette base ont été lancés des cas d’usage « proof of business » qui ont permis en 2024 de dresser la liste des pratiques souhaitées et interdites. Parmi les orientations retenues, le passage à Amazon Bedrock, service managé fournissant des modèles de fondation pour les cas d’usage d’IA Gen. L’utilisation de ce service a permis à Ayming d’accélérer la mise en production de plusieurs cas d’usage, et d’atteindre désormais la phase de retours d’expérience.
Coté Crédit Agricole, l’IA Gen a été mise en place via la création du Datagroup, construit dès le début dans la volonté de développer une IA de confiance, c’est-à-dire cohérente avec les valeurs de l’entreprise. Pour cela, le Crédit Agricole a fait certifier sa méthode de développement et mise en production de ses cas d’usage, et monté un groupe de travail cross entités pour proposer à ses différents métiers une stratégie d’adoption de l’IA structurée autour de piliers communs. En juin 2023, sur base des résultats des premières expérimentations et d’une montée en compétence collective le COMEX a donné son go pour la mise en œuvre de l’IA Gen à travers le Groupe, via 36 cas d’usage spécifiques, dont certains ont désormais atteints le passage à l’échelle.
Quels sont les critères de sélection des modèles de LLM pour chaque cas d’usage ?
Tous les 3 mois, le Crédit Agricole lance des benchmarks des LLM du marché pour évaluer :
- L’adéquation technologique : la pertinence de leurs réponses par rapport à leurs cas d’usage, leur coût, la performance des temps de réponse, leur sécurité et robustesse contre les attaques, …
- L’adéquation avec les usages : la capacité du modèle à répondre aux exigences de protection de la confidentialité des données manipulées, les caractéristiques des infrastructures d’hébergement du modèle, le coût du modèle en fonction des volumes de traitement, …
- Le respect de la conformité et de la sécurité : la conformité des modèles est un enjeu clé, la réglementation européenne autour de l’IA va se doter en août 2025 d’exigences propres aux modèles à usage général (dont les outils d’IA Gen). Si tous les LLM doivent être conformes à partir de cette date, bien peu le sont actuellement. Et ils ne brillent pas tous par leur transparence non plus ! La volonté du Crédit Agricole est d’assurer la mise en conformité de ses modèles dès maintenant, via la mise en place de critères de sélection sécurité et conformité, qui pourront évoluer et s’intensifier sur base des exigences de l’IA Act publiées en aout.
Pour Ayming, les LLM sélectionnés peuvent être de trois natures :
- LLM externalisé, pour bénéficier d’un retour rapide et efficace,
- LLM auto hébergé, pour garder la maîtrise des données manipulées,
- LLM développé en interne, pour répondre à un besoin Métier / opérationnel très spécifique.
Le choix final part toujours d’une analyse de l’usage concret du LLM, plutôt que de critères technologiques : pour qui et pourquoi les cas d’usage sont-ils mis en place ? Cela permet de donner l’orientation dans le choix du LLM, son ambition stratégique. Puis Ayming applique des critères de « conformité » (à la fois à l’IA Act, au RGPD et aux exigences clients) et d’« adéquation aux enjeux business » pour effectuer sa sélection finale. Ceci lui permet de mettre en place une approche modulaire et évolutive, où elle garde la capacité de changer de LLM en cours de projet, en fonction de l’évolution de son ratio coût / bénéfice.
Comment assurez-vous une veille face à la grande variété de LLM ?
Comme mentionné précédemment, le Crédit Agricole effectue une veille trimestrielle de tous les LLMs disponibles sur l marché.
De son côté, Ayming a rappelé qu’il est nécessaire d’assurer une veille à la fois des modèles et des librairies qui les outillent. Elle a ensuite décrit les différentes actions qu’elle a mise en œuvre pour assurer cette veille :
- Aller chercher des talents, ouvrir ses portes aux alternants et stagiaires, qui ont souvent une approche plus innovante, via notamment la création de partenariats avec des écoles.
- Favoriser les activités de tests et d’expérimentation.
- S’appuyer sur une culture de la souplesse d’esprit et de l’interactivité.
Comment convaincre une Direction d’utiliser de l’IA, face à tant de choix et de risques ?
Aussi bien pour le Crédit Agricole que pour Ayming, convaincre une direction n’a pas été le plus difficile. L’enjeu, au contraire, était plutôt d’encadrer les attentes de la Direction et des Métiers pour leur faire comprendre que l’IA n’est ni magique ni infaillible, qu’elle ne fait pas tout et ne produit pas toujours la vérité.
En complément de cette sensibilisation, du fait de son positionnement dans un secteur déjà très réglementé, le Crédit Agricole a mis en place dès 2023 un cadre normatif, construit sur l’analyse des versions préliminaires de l’IA Act, afin d’anticiper les exigences de mise en conformité et construire des solutions d’IA de qualité et conformes.
Le Crédit Agricole a aussi assurer sa maitrise des risques en créant une taxonomie des risques IA, en s’appuyant sur les taxonomies existantes (comme celle du NIST ou du MIT). Chaque entité du Crédit Agricole qui développe des cas d’usage d’IA doit ainsi identifier ses propres risques en fonction de ses spécificités.
Pour Ayming, l’IA a été très vite vue comme un levier stratégique pour l’innovation mais aussi un outil hyper sensible dans l’usage était à cadrer dès le début. L’important était donc de développer une IA sécurisée, c’est-à-dire gouvernée, encadrée et comprise de tous. Pour cela, un gros travail préparatoire de gouvernance a été mis en place entre la DSI, la DRH et la Direction Juridique dès 2023, à la suite de la documentation de son position paper. Ce travail de cadrage a abouti à la mise en place de trois piliers structurants :
- Une stratégie claire et une gouvernance dédiée : le COMEX est sponsor de l’ensemble des actions réalisées, un directeur de l’IA a été nommé ainsi que des référents et ambassadeurs dans toutes les filiales et pays, une équipe « IA Solution » a été mise en place, un comité de surveillance a été créé de même qu’un comité de gouvernance IA…
- Une politique IA, déployée dans l’ensemble du groupe, et relayée par des équipes et d’ambassadeurs dédiés dans toutes les filiales et pays.
- Un programme de sensibilisation des collaborateurs, incluant la mise en place du mois de l’IA, afin promouvoir les cas d’usage internes de l’IA.
Comment passer à l’échelle, du PoC à la mise en production ?
Pour Ayming, le passage à l’échelle s’appuie sur 3 briques :
- Une organisation structurée : mise en place d’une gouvernance dédiée (voir ci-dessus) et création de critères de « business sucess »
- Une approche très pragmatique : essayer et réessayer, être agile dans les développements, favoriser une approche « fail early ».
- Un focus sur la valeur : les idées fusent mais tous les cas d’usage ne peuvent pas être mis en place. En novembre 2024, 25 cas d’usage de bonne qualité étaient sélectionnés et décrits, 60 cas d’usage depuis Q1 2025 et 12 sont déjà en production. Il était important pour cela de définir des indicateurs de la performance à obtenir, de l’impact business souhaité, et ainsi de dégager les cas d’usage d’ « investissement », longs à mettre en place mais structurants, et ceux de type « quicks wins ».
Tout ceci a permis à Ayming d’atteindre la 3e génération de ses outils d’IA et d’accéder enfin à la mise à l’échelle.
Pour le CA, l’approche est assez similaire, à travers une valorisation des volets « technologies » et « formation » :
- Technologies :
- La plateformisation : 70% des cas d’usage par exemple repose sur du RAG. Le Crédit Agricole a donc investi dans une plateforme interne de RAG pour faciliter à la fois le passage à l’échelle et le delivery.
- La templatisation des standards de développement, qui permet à une équipe de gagner du temps en s’appuyant sur des principes déjà vus par d’autres équipes.
- L’intégration de produits de starts-ups (françaises et européennes) capables de proposer des évolutions rapides : se reposer sur ces produits permet d’intégrer des ses chaînes de production des briques très efficiente et ainsi d’accélérer ses propres développements
- Formation :
- Développement des compétences cyber : le passage à l’échelle avec des clients et experts du métier bancaire qui n’ont pas forcément confiance dans l’IA, est compliqué. Pour maîtriser les risques, Le Crédit Agricole a jugé indispensable de développer des compétences internes spécifiques. Pour cela, elle a mis en place une équipe « Red Team » capable de comprendre et tester les risques autour des LLM et de diffuser les bonnes pratiques dans tout le groupe.
- La formation est indispensable mais la faire au bon niveau et pour les bonnes personnes est un critère clé pour tout projet informatique, a fortiori un projet d’IA. Il est important d’embarquer toutes les équipes, et d’expliquer notamment aux Métiers que l’IA fait beaucoup mais ne peut pas tout faire. Une IA peut se tromper et la phase de généralisation nécessite la contribution des Métiers pour assurer une indispensable vérification des résultats produits. L’IA est là pour augmenter les collaborateurs, les assister mais pas les remplacer. Il faut l’entraîner avec l’expertise Métier et rassurer les collaborateurs en leur montrant qu’ils auront toujours le mot final lors de la vérification des résultats produits.
Reply renchérit d’ailleurs sur ce dernier point : l’industrialisation est un élément fondamental qui impose d’investir mais aussi de mettre en place des processus d’auditabilité / traçabilité de bout en bout et de transparence pour expliquer à ses clients comment les données sont manipulées ; et ce notamment via les démarches d’analyse des risques dédiées. Et leur rappeler que l’IA magique n’existe pas, expliquer et réexpliquer ce qu’on peut faire et ce qu‘on ne peut pas ou ne doit pas faire avec un système d’IA, et traquer les mauvais usages.
Comment est assurée la souveraineté de vos LLM ?
Pour le Crédit Agricole, cela passe notamment par :
- La recherche de produits innovants créés par des starts-ups françaises ou a minima européennes.
- L’évaluation du niveau de souveraineté des LLMs lors des sessions trimestrielles de benchmark.
- La mise en place d’une infrastructure interne, pour maitriser les LLM en production (projet en cours), et la migration vers des clouds souverains (étude en cours).
- Un travail de création de LLM internes (notamment un LLM souverain sur base de briques open source).
- Une approche qui favorise la multiplication des fournisseurs de LLM et une veille régulière permettant d’anticiper au plus tôt les changements souhaitables de fournisseurs.
Pour Ayming, la souveraineté est surtout appréhendée sous l’angle juridique : Quel est le contrôle sur les données, où sont-elles localisées ou par qui sont-elles accédées ? Quel est le cadre juridique qui encadre les pratiques ? Cela se matérialise notamment par :
- La mise en place de règles claires sur les usages possibles.
- Un monitoring constant des usages.
- Une politique Groupe d’IA.
- Un programme de sensibilisation.
- La conduite d’analyses d’impact menées conjointement avec la DSI et la Direction Juridique.
Pour les enjeux de souveraineté technique, Ayming a fait le choix dès le début de ne pas dépendre d’une seule technologie de LLM mais de multiplier les acteurs en s’appuyant sur une panoplie de LLMs sécurisés, couplés à la mise en place d’une traçabilité @scale.
Pour conclure, Reply a présenté son approche en terme de souveraineté. Cette question s’est posée à eux en lien avec les questions de ses clients sur le fine tuning des modèles : « Pourquoi fine tuner un modèle qui va devenir obsolète quelques mois plus tard ? » Avec la diversité des modèles et la chute des prix, Reply a donc choisi d’adresser la souveraineté via la proposition de patterns techniques agnostiques de la technologie, pour laisser à ses clients la flexibilité de choisir et d’adapter les LLMs sous-jacents.
Voilà qui conclut la synthèse de cette session sur la sécurité et souveraineté des LLM, dans un contexte de passage à l’échelle. Au sein de Løvell, nous proposons à nos clients un accompagnement à l’analyse des risques et à l’intégration de la sécurité dans les projets d’IA. N’hésitez pas à nous contacter pour en savoir plus sur nos services.
