Contrairement aux failles informatiques classiques, l’attaquant n’a plus nécessairement besoin d’exploiter une brèche technique. Une requête habilement formulée, appelée « injection de prompt », peut suffire à pousser un LLM à contourner ses règles de sécurité, divulguer des informations sensibles ou déclencher une action non prévue par ses concepteurs.
Pour Gaëtan Eleouet, Tech Lead et Directeur de la Practice Data, IA & Digital Engineering chez Meritis, cinq contre-mesures sont à mettre en œuvre :
- Définir un périmètre d’action strict pour le LLM : circonscrire précisément les fonctions, données et systèmes auxquels le modèle peut accéder ou sur lesquels il peut agir, pour limiter l’impact d’une éventuelle manipulation.
- Contrôler les entrées :filtrer et valider les requêtes avant qu’elles n’atteignent le modèle, afin de détecter et bloquer les tentatives d’injection de prompt.
- Contrôler les sorties :vérifier systématiquement les réponses générées avant leur exploitation ou leur diffusion, pour éviter qu’une donnée sensible ou une instruction non désirée ne soit exécutée en aval.
- Anonymiser les données sensibles : empêcher que des informations identifiables, qu’il s’agisse de clients, de salariés ou de données financières, ne puissent être reconstituées ou divulguées via les réponses du modèle.
- Surveiller l’ensemble de la chaîne d’intégration : tracer les interactions avec le LLM et détecter en continu les comportements anormaux, du point d’entrée jusqu’à l’action déclenchée.