Le 24 septembre, le Programme de transfert au Campus Cyber (PTCC) a réuni au Campus Cyber, chercheurs, acteurs publics et industriels pour toute une journée de conférences autour de la sécurisation de l’IA.
Pour rappel, le PTCC, opéré par l’Inria dans le cadre de France 2030, vise à rapprocher la recherche publique en cybersécurité du monde économique.
Au programme de cette journée (détails ici pour la matinée et l’après-midi) : une revue du prochain guide de l’ANSSI sur la sécurisation d’un système d’IA avec RAG, plusieurs présentations de chercheurs sur des techniques d’attaques ou de défense des systèmes d’IA, un RetEx de CA CFM sur la mise en place de leur dispositif de sécurité de l’IA, la présentation de l’Institut DATAIA, des travaux IA du Campus Cyber, du PTCC et de Systematic, du Radar Start-ups Cyber des IA de Wavestone et enfin une série de pitchs de start-up de sécurité de l’IA.
Tous les intervenants arrivent au même constat : l’IA élargit la surface d’attaque, et ce plus vite que les défenses ne s’adaptent. C’est pourquoi sécuriser l’IA ne consiste plus à protéger un modèle isolé. Il faut couvrir l’ensemble de son environnement, mesurer ses incertitudes et organiser une gouvernance capable d’évoluer aussi vite que les menaces.
Table des matières
Une surface d’attaque qui déborde le modèle
La sécurité doit par conséquent suivre toute la chaîne de développement : préentraînement, approvisionnement, alignement, compression, déploiement et inférence. Plusieurs chercheurs ont montré via leurs travaux les angles morts des défenses actuelles. Par exemple, difficultés à réaliser du « Binary code similarity detection » pour identifier un paylod / une fonction standard qui aurait été transformé pour contenir du code malicieux et rendre ainsi un binaire dangereux, tout en préservant son comportement exécutable. Cette limite fragilise la vérification des nomenclatures logicielles (SBOM), alors même que la Cyber Resilience Act renforce notamment les obligations sur le suivi des vulnérabilités tout au long du cycle de vie des logiciels. D’autres recherches ciblent les systèmes de détection d’intrusion fondés sur des graphes ou les attaques matérielles lors du déploiement d’un modèle. Message commun : tester uniquement les entrées et sorties du modèle laisse des brèches.
Le modèle, jugé trop sûr de lui
La confiance constitue l’autre ligne de fracture. Les LLM As a Judge, utilisés pour classifier les requêtes potentiellement dangereuses des utilisateurs, affichent parfois une assurance élevée même lorsqu’ils se trompent. Des méthodes de « jailbreak » servent alors d’outil de mesure en boîte noire : retrouver l’état du modèle avant la phase de « reinforcement learning » pour révèler l’incertitude masquée par les réponses catégoriques. Le « machine unlearning » pose un dilemme voisin. Faire oublier des données personnelles, corrompues ou empoisonnées est souhaitable, mais le réentraînement complet coûte cher, les architectures prévues pour l’oubli dégradent les performances et les approches approximatives restent difficiles à valider. Pire, le désapprentissage pourrait lui-même devenir offensif s’il efface le concept de refus acquis pendant la phase d’apprentissage par alignement (ie adaptation du modèle brut à un ensemble d’intentions, règles de sécurité et valeurs).
De la gouvernance au contrôle continu
Face à une telle diversité d’écueils, le RetEx de Crédit Agricole Personal Finance & Mobility nous montre que pour être efficiente, la sécurisation doit ouvrir toutes les couches de l’organisation, à la fois techniques, fonctionnelles et organisationnelles. Tout en rappelant que l’IA est « un sujet de gouvernance avant d’être un sujet technique ». L’entreprise s’est ainsi dotée d’un comité IA, d’une PSSI dédiée, d’une design authority de l’IA, de mécanismes de validation des modules LLM et d’outils de surveillance en continu adossés à des systèmes d’observabilité et un SOC dédié à l’IA.
GE HealthCare, industriel dans le domaine de la santé, affiche des convictions similaires : les risques IA doivent en être discutées entre équipes internes, clients, partenaires et régulateurs, puis traduits en réponses techniques, opérationnelles et contractuelles.
A ce titre, le Campus Cyber est en train de produire son 3e livre blanc sur la sécurisation de l’IA, celui-ci concentré sur les grandes thématiques de solutions, à savoir le contrôle des outils et des actions, gestion des identités et des accès, sécurité des prompts, cloisonnement du runtime et de la mémoire, supervision humaine.
Un marché de solutions protéiforme
Cette exigence de sécurisation multiforme et multi-cibles alimente un marché déjà dense : le radar de Wavestone recense 94 fournisseurs de solutions de sécurité IA, allant de la protection des données aux pare-feu IA, en passant par le renforcement de la robustesse des modèles et la gestion des risques.
A ce titre, les starts-ups présentes lors de cette journée de conférences incarnent plusieurs priorités : Preemptics simule des attaques en préproduction pour apporter des preuves de la conformité et sécurité des agents IA, Vaultys et Hodor attribuent et gèrent des identités propres aux agents et encadrent leurs permissions, Avanoo cartographie et priorise les cas d’usage IA, bloque certains éléments et assurer de l’AI DLP dans les prompts, Cybershen quant à lui applique une logique Zero Trust aux accès et aux flux IA.
Une supervision internationale limitée
Reste enfin la question du contrôle à grande échelle. Face à la course des créateurs de modèles frontières, comment rendre vérifiables les engagements déclaratifs de sécurité imposés par de futurs accords internationaux ? Difficile mais pas impossible. Le General Purpose AI Policy Lab, association du Campus Cyber qui fournit conseil IA et solutions de sécurité aux institutions françaises, travaille notamment à des mécanismes de contrôle externes, basés notamment sur le suivi de l’activité produite au sein des datacenters.
C’est la conclusion politique de cette journée très technique : la confiance ne se proclame pas. Elle se construit par la traçabilité, la limitation des privilèges, l’évaluation adversariale et des preuves renouvelées tout au long du cycle de vie.
De la confiance aux preuves : par où commencer ?
La confiance dans l’IA se construit sur la durée. Pour aider les organisations à poser les bonnes bases, Løvell Consulting vous a conçu un parcours d’accompagnement en 4 étapes :
- Gouvernance IA : poser les fondations de votre stratégie IA
- Secure AI by Design : intégrer la sécurité dès la conception de vos projets
- Conformité IA : déployer un contrôle multi-conformité fondé sur les principaux référentiels et réglementations
- Cyber Map IA : sélectionner les outils de sécurité boostés à l’IA les plus pertinents pour votre organisation
Un projet IA en cours ou à venir ? Contactez-nous pour en discuter
Besoin d’un accompagnement personnalisé sur vos sujets cybersécurité ?
