IA et souveraineté des données : de nouveaux défis à anticiper

L’intelligence artificielle (IA) est omniprésente dans notre quotidien, souvent à notre insu. Que ce soit pour calculer un itinéraire optimal, personnaliser notre fil d’actualité sur les réseaux sociaux ou ajuster automatiquement la qualité de nos photos, nous utilisons constamment des technologies basées sur l’IA. Cependant, et avec un usage de plus en plus répandu et soutenu, l’IA apporte de nouveaux défis de cybersécurité. 

Qu’est-ce que l’IA ? 

Selon le mathématicien français Cédric Villani, l’IA se définit comme « toute technologie algorithmique qui peut résoudre des problèmes complexes qu’on aurait cru réservé à l’intelligence humaine ». Cette définition soulève toutefois des questions sur la notion même de « problème complexe » ou d’ « intelligence humaine ».

L’intelligence artificielle correspond à la capacité des machines à effectuer des tâches typiquement associées à l’intelligence humaine  telles que l’apprentissage, le raisonnement, la résolution de problème, la perception ou la prise de décision. Depuis son introduction dans les années 1950, l’IA a considérablement évolué grâce aux avancées en informatique, à la virtualisation et l’augmentation des capacités de calcul et de stockage des données. 

Qu’est-ce que l’IA générative ? 

L’IA, bien que conceptuellement ancienne, a connu un essor majeur dans les années 2020 avec l’apparition de modèles LLM (Large Language Model) populaires comme GPT-3, un outil très simple à utiliser et capable de générer du contenu de manière fluide et rapide. Cela a marqué un grand pas pour l’IA générative, un type d’intelligence artificielle capable de générer du contenu (texte, image, vidéo, musique) à partir d’une immense quantité de données qui lui ont été fournies lors de sa phase d’apprentissage et dans ses requêtes (lors des interactions entre les utilisateurs et la solution). 

Avant d’entrer plus en détail dans le fonctionnement de l’IA générative, il est important de revenir sur les différentes disciplines liées à l’intelligence artificielle. L’IA comprend parmi ses sous-catégories l’IA générative, l’apprentissage automatique, l’apprentissage profond et les réseaux de neurones artificiels. Ces différentes disciplines sont également présentes dans l’IA dite « traditionnelle » pour classer, prédire et reconnaître des motifs.

L’apprentissage automatique est une branche de l’IA qui permet d’apprendre à partir de données, d’identifier des schémas et de s’améliorer sans être explicitement programmé pour cela. L’apprentissage profond est une méthode de l’apprentissage automatique qui utilise des réseaux de neurones artificiels pour apprendre à partir de grandes quantités de données. Ce réseau de neurones est un ensemble d’algorithmes qui imitent le fonctionnement du cerveau humain et qui, à partir d’un flux de données d’apprentissage, va s’ajuster pour apprendre à réaliser des tâches.

L’IA générative comprend trois phases :  

1. Collecte de données : l’IA récupère et nettoie des images, des textes ou des bases de données, qui servent de base à l’entraînement du modèle afin d’en affiner les performances. Ces modèles génératifs sont également appelés LLM (Large Language Models).

• Reconnaissance de motifs : les réseaux neuronaux analysent ces données afin d’identifier des tendances et des relations sous-jacentes.

• Entraînement : le modèle apprend à partir des données qui lui ont été fournies. Il existe trois méthodes d’apprentissage automatique.

• Le modèle est nourri de données étiquetées ; cela correspond à un apprentissage supervisé. Si le but de l’algorithme est de trier des photos de chiens et de chats, alors celui-ci affiche des images en indiquant directement s’il s’agit d’un chien ou d’un chat.

• Le modèle peut être nourri de données non étiquetées. L’algorithme identifie alors des motifs pour regrouper les images similaires et en dégager les caractéristiques communes afin de les catégoriser. Cette méthode correspond à un apprentissage non supervisé.

• Enfin, le dernier type d’apprentissage est par renforcement. Le modèle possède un agent et prend des décisions en observant les résultats de ces actions pour ajuster son comportement.  

La phase d’apprentissage est celle qui prend le plus de temps et qui est généralement à la charge de l’éditeur de modèle dans le cadre du modèle de responsabilité partagée. Je vous invite à consulter notre livre blanc pour plus de détails sur les méthodes d’apprentissage de l’IA.

2. Déploiement : une fois les données récupérées, l’algorithme sélectionné et les tests de sécurité réalisés, le modèle est créé et prêt à être mis en production.

3. Exploitation : enfin, le modèle est utilisé par les utilisateurs finaux. Il génère du contenu en réponse à leurs requêtes. Le LLM applique ce qu’il a appris pour créer des résultats originaux (par exemple, ChatGPT s’appuie sur les requêtes précédentes pour générer un essai).

Ces modèles nécessitent une puissance de calcul considérable et sont donc majoritairement hébergés sur des infrastructures externalisées.

Dangers de l’IA générative liés à la souveraineté des données 

Principaux risques liés à l’usage de l’IA 

L’IA générative fait face aux mêmes risques que toute autre application métier, qu’elle soit cloud ou interne, mais des menaces spécifiques à ce type de système existent. Nous pouvons regrouper ces scénarios d’attaque en trois catégories :

• Attaques par manipulation : il s’agit de détourner le comportement du modèle en effectuant des requêtes malveillantes. Ce type d’attaque est exploitable lors de la phase de production du modèle.

• Attaques par infection : les données d’entraînement sont contaminées afin de générer des réponses biaisées. Cette attaque survient lors de la phase d’entraînement du modèle.

• Attaques par exfiltration : les données transmises entre le modèle et le consommateur sont volées. Ce scénario d’attaque survient lors de la phase de production du modèle.

Il est donc primordial de maîtriser les données transmises dans un modèle LLM, notamment les données sensibles dès la phase d’entraînement. Si le modèle n’est pas bien sécurisé, un attaquant pourrait réutiliser ces données à des fins malveillantes, compromettant ainsi la confidentialité et l’intégrité des informations fournies. De plus, une attaque ciblant la phase d’entraînement peut introduire des biais et des discriminations dans le modèle. Cela peut entraîner des décisions erronées et nuire à la réputation de l’organisation. L’utilisation de données biaisées ou discriminatoires impacte négativement l’équité des résultats produits par l’IA et renforce les inégalités existantes. Cet enjeu se répercute alors sur la réputation de l’entreprise et la confiance des clients. Pour une explication plus détaillée des différents scénarios d’attaque sur les modèles IA, je vous invite à consulter notre livre blanc.

4 types de déploiement de solution IA 

Comme pour les infrastructures cloud, l’IA suit différents modèles de déploiement avec des niveaux de responsabilité partagée :

• SaaS (Software as a Service) : solution prête à l’emploi (ex. : ChatGPT, Microsoft Copilot, Claude, Gemini). L’hébergement et l’entraînement sont gérés par le fournisseur.

• Entraînement externalisé : l’entraînement est externalisé mais l’intégration en production est sous la responsabilité du client 

• Hébergement externalisé : l’entreprise entraîne son propre modèle mais confie son hébergement à un prestataire.

• Déploiement interne : l’entreprise gère entièrement son IA, garantissant une maîtrise totale de ses données.

Selon le modèle choisi, les risques varient notamment en matière de confidentialité et d’intégrité des données. Les données saisies dans un modèle d’IA peuvent être collectées et utilisées pour affiner son entraînement. Comme l’indique OpenAI dans sa documentation, ses modèles sont développés à partir de trois sources principales : des données accessibles publiquement, des données obtenues via des partenaires tiers, et des données fournies par les utilisateurs ou générées lors des interactions. Par conséquent, il est essentiel de contrôler les informations partagées avec ces modèles afin de préserver la confidentialité et la sécurité des données.

Qu’est-ce que la souveraineté des données ? 

La souveraineté des données désigne la capacité d’une organisation à contrôler et protéger ses informations numériques contre toute ingérence étrangère. Elle implique la maîtrise de la localisation, du stockage et du traitement des données, en conformité avec les lois locales, comme le RGPD en Europe, notamment pour les données personnelles.

Toutefois, à l’ère du cloud computing, de nombreuses entreprises externalisent leurs infrastructures pour bénéficier de services plus performants, tels que l’optimisation des ressources, le dimensionnement du stockage et la puissance de calcul. Cette dépendance aux fournisseurs peut entraîner une perte de contrôle sur les données sensibles et, potentiellement, une fuite de données non maîtrisée.

L’importance de l’infrastructure souveraine 

Aujourd’hui, la domination des GAFAM et des entreprises chinoises dans le secteur du cloud et de l’IA est flagrante. Les États-Unis comptent plus de 5 000 centres de données, soit plus du double de ceux présents dans l’Union européenne (environ 2 000, dont un quart situés en Allemagne). La Chine, de son côté, en possède près de 500. Cette concentration des infrastructures pose un enjeu majeur : nos données sont donc plus susceptibles d’être stockées sur des serveurs américains, les soumettant ainsi à des réglementations telles que le Clarifying Lawful Overseas Use of Data Act (CLOUD Act).

Né à l’origine d’un contentieux entre Microsoft et le gouvernement américain, le CLOUD Act est une loi qui permet aux autorités américaines d’accéder aux données hébergées par des entreprises établies aux États-Unis ou associées à un individu ou une entité liée aux États-Unis, même lorsque ces données sont hébergées en dehors des frontières américaines. Cette loi prévaut sur la législation du pays dans lequel sont implantées les données et entre donc en conflit avec l’application du Règlement Général sur la Protection des Données (RGPD). Cela soulève des préoccupations concernant la protection des données des personnes et des entreprises européennes qui utilisent des services cloud gérés par des fournisseurs américains tels que Google, Facebook ou Microsoft.

Avec l’omniprésence des GAFAM, de nombreuses entreprises européennes sont tiraillées entre le RGPD et le CLOUD Act. Pour conserver une certaine maîtrise de leurs données, l’alternative préconisée est de sélectionner des fournisseurs de services basés en Europe, n’entretenant aucun lien avec des entreprises implantées aux États-Unis.

Vers une IA souveraine en France 

Lors du premier Sommet de l’IA à Paris, tenu en février 2025 et rassemblant une centaine de pays, une stratégie autour d’une « IA de confiance » a été définie. Ce concept repose sur trois piliers :

• Éthique : réduction des biais, respect de la propriété intellectuelle 

• Robustesse : fiabilité et performance des modèles 

• Conformité légale : respect des régulations comme l’IA Act 

Ce rassemblement, qui a réuni chefs d’État, patrons d’entreprises et scientifiques, confirme que l’IA n’est pas seulement une avancée technologique. Elle représente un enjeu stratégique majeur avec des implications économiques, sociétales et politiques. Consciente de ces défis, la France ambitionne de devenir un acteur clé de ce secteur.

« On veut en être et on veut inventer, sinon on va dépendre des autres », déclarait le président Emmanuel Macron à la veille du Sommet de l’IA. Dans cette optique, un budget de 109 milliards d’euros a été alloué au développement de l’IA en France, avec une priorité donnée à la construction de centres de données souverains en Europe. Cet investissement vise à réduire la dépendance aux infrastructures américaines et chinoises, à consolider une souveraineté technologique et politique, et à mettre l’IA au service de l’économie et de la société. Le développement de solutions d’IA souveraines permettrait aux entreprises de garantir la protection des données et leur exploitation en toute sécurité.

Bonnes pratiques dans l’instauration d’une gouvernance IA au sein d’une entreprise 

Que le déploiement soit en SaaS, en modèle hybride, en hébergement externalisé ou en déploiement interne, une solution IA nécessite une gouvernance stricte au sein des entreprises. Cette gouvernance repose sur un cadre réglementaire clair et une sécurisation des données, de la phase d’entraînement du modèle jusqu’à son utilisation par le client final. Nous sommes convaincus qu’il est essentiel de définir un ensemble de principes clés qui reflètent les valeurs de l’organisation et couvrent des aspects tels que la confidentialité des données, la sécurité et l’utilisation éthique de l’IA.

Ces principes fondamentaux reposent sur : 

• La transparence : cela consiste à avoir une documentation claire des données utilisées et des décisions algorithmiques prises  

• La sécurité : il est possible de mettre en place des mesures de protection des données telle que le chiffrement 

• La conformité : en respectant les réglementations en vigueur telles que l’IA Act et RGPD 

• L’éthique : afin de prévenir des biais, notamment lors de la phase de collecte des données  

• La responsabilité : pour une bonne gouvernance, les rôles et responsabilités doivent être clairement répartis  

• La formation : préparer des campagnes de sensibilisation et former les équipes à l’IA et la cybersécurité sont des principes clés qui doivent être réalisés de façon régulière et en adéquation avec l’évolution des technologies 

• L’audit régulier : un contrôle continu doit être assuré sur le comportement du modèle, notamment lors des mises à jour 

Certaines recommandations de sécurité sont génériques pour tout type de déploiement de modèle LLM. Dans le cadre d’un déploiement faisant appel à des prestataires, la gestion des tiers et la sélection d’un prestataire certifié SecNumCloud sont plus que recommandées. De plus, inclure des clauses contractuelles comprenant des plans de sortie ou de fallback (retour à une solution alternative) constitue un atout considérable pour éviter toute dépendance. Pour identifier les écarts avec les bonnes pratiques, la mise en place d’audits de sécurité réguliers est également bénéfique. Enfin, pour la protection des données, la classification des données est un élément central d’une bonne gouvernance afin d’éviter toute fuite accidentelle de données sensibles.

L’ANSSI propose de nombreuses publications sur la gestion de l’IA, en particulier sur les risques, les responsabilités et la gouvernance adaptée aux entreprises. Vous pouvez consulter ces ressources, notamment un guide détaillé qui offre des recommandations pour instaurer une gouvernance de l’IA sécurisée et conforme aux exigences de votre organisation.  

Déploiement d’une IA en SaaS 

L’IA en SaaS est une solution clé en main souvent privilégiée pour réduire le temps d’implémentation d’un modèle IA et éviter de faire appel à des experts. Cependant, ce déploiement comporte plusieurs risques.

Il est important de prendre des précautions pour maintenir un bon niveau de sécurité dans son système d’information. La mesure la plus évidente consiste, bien évidemment, à se documenter afin d’éviter les modèles d’IA comportant des failles de sécurité.

Des chercheurs de Wiz ont découvert une base de données de l’IA générative chinoise DeepSeek contenant des informations internes ainsi que des données sur les utilisateurs, accessibles publiquement. Grâce à cette faille, qui a depuis été corrigée, il était possible d’exécuter des requêtes SQL arbitraires directement depuis le navigateur et ainsi de faire fuiter un grand volume de données, dont certaines étaient particulièrement sensibles.

Pour continuer sur le volet sécurité des modèles d’IA en SaaS, Samsung, afin de faciliter le travail de ses collaborateurs, a autorisé l’utilisation de l’IA générative d’OpenAI. Pour gagner du temps et déboguer leur code, des salariés ont sollicité ChatGPT. Toutefois, en l’espace de quelques semaines, trois incidents ont conduit à l’exposition involontaire de données confidentielles, notamment du code source et des notes de réunion internes. Bien que ces informations ne soient pas nécessairement exploitées par OpenAI, leur stockage sur des serveurs externes soulève des risques significatifs en matière de confidentialité et de sécurité. Ce cas met en évidence la nécessité pour les entreprises d’adopter une gouvernance stricte de l’IA, associée à une classification rigoureuse des données. Sans règles claires sur l’utilisation des modèles d’IA et sans maîtrise des flux d’information, les entreprises s’exposent à des fuites involontaires pouvant compromettre leur compétitivité et leur conformité réglementaire.

Pour éviter les fuites de données, plusieurs mesures de sécurité peuvent être mises en place. L’utilisation d’un navigateur sécurisé, couplée à une solution de Data Loss Prevention (DLP), permet de contrôler les données transmises au modèle SaaS. Il est également possible de limiter la longueur des prompts et la taille des fichiers téléversés afin de réduire les risques d’exfiltration. De plus, le blocage des captures d’écran peut empêcher le contournement des règles internes. Enfin, une bonne classification des données, associée à un outil dédié, aide à identifier et à bloquer l’envoi d’informations sensibles telles que les noms, adresses ou données bancaires.

Déploiement d’une IA avec un sous-traitant responsable de l’entraînement 

Dans le cas d’un déploiement d’IA avec un sous-traitant responsable de l’entraînement, l’entreprise conserve l’hébergement et la gestion des données de production (notamment les interactions entre le modèle et l’utilisateur). En termes de souveraineté, cela réduit drastiquement les risques liés à la perte de confidentialité des données fournies, car ces dernières sont internalisées. Les mesures de sécurité à prendre en compte pour garantir une bonne souveraineté concernent donc principalement la sécurité des centres de données, avec une volumétrie adaptée pour contenir l’ensemble des données échangées entre le modèle et le client.

Déploiement d’une IA avec un sous-traitant responsable de l’hébergement 

Les données seront hébergées chez le prestataire, y compris les interactions entre les utilisateurs et le modèle. Dans ce cas de figure, une bonne classification des données est primordiale afin d’éviter toute fuite de données sensibles dans le centre de données du prestataire. En effet, malgré des contrats permettant de se prémunir contre certains risques de divulgation, on n’est jamais à l’abri du non-respect d’une clause ou d’une mauvaise manipulation de la part du fournisseur.

Déploiement d’une IA en interne 

Le développement d’une solution d’IA générative en interne est assez ambitieux, mais garantit une maîtrise totale des données et des algorithmes utilisés. Toutefois, il nécessite :

• Une définition claire des objectifs et des cas d’utilisation 

• Une infrastructure robuste capable de gérer le volume de données 

• Une stratégie de gouvernance et de conformité avec les réglementations (ex : RGPD, IA Act) 

Ces critères impliquent donc un investissement humain et financier important pour réaliser un déploiement en interne d’une IA générative.

Conclusion  

L’essor de l’intelligence artificielle soulève des défis majeurs en matière de souveraineté des données. La dépendance aux infrastructures étrangères et aux modèles propriétaires accentue les risques de perte de contrôle sur les informations sensibles des organisations. Il est donc important de privilégier des solutions garantissant la transparence, la sécurité et la conformité aux réglementations nationales et européennes.

Adopter une infrastructure souveraine et des modèles respectueux des principes de confidentialité permettrait aux entreprises et aux institutions de mieux maîtriser leur transition vers une IA responsable et éthique. La souveraineté des données est un enjeu stratégique incontournable pour assurer une indépendance technologique, protéger ses données, rassurer ses clients et se démarquer dans un monde de plus en plus consommateur d’IA.