1. Les injections de prompt

1-1. Injection directe de prompt

L'attaquant manipule directement l'entrée utilisateur au point de saisie du prompt, par exemple, en collant une URL contenant des instructions malveillantes dissimulées dans la barre d'adresse d'un navigateur IA.

1-2. Injection indirecte de prompt par les documents à traiter

Cette technique consisterait à dissimuler des instructions malveillantes dans du contenu externe que l'IA va traiter. Les méthodes de dissimulation incluent :

• Texte blanc sur fond blanc : Instructions invisibles à l'œil humain mais lisibles par l'IA
• Polices de taille microscopique : Texte rendu illisible visuellement mais traitable par le modèle
• Commentaires HTML : Instructions cachées dans le code source des pages web
• Caractères Unicode non imprimables : Instructions encodées de manière invisible
• Balises spoiler ou éléments cachés dans les réseaux sociaux (Reddit, Facebook, etc.)
• Instructions dissimulées dans des images : Texte non visible incorporé dans les métadonnées ou le contenu d'images

2. Exfiltration de données via des requêtes masquées

2-1. Technique de l'URL de requête manipulée

L'attaquant injecte des instructions commandant à l'IA de naviguer vers une URL contrôlée par lui, en ajoutant les données sensibles ajoutées par l'utilisateur à sa requête comme paramètres de celle-ci. Il ne s'agit pas seulement de modifier le prompt comme dans l'injection de prompt.

2-2. Empoisonnement persistant du contexte

L'instruction malveillante commande à l'assistant d'IA d'ajouter un multiple ou un nombre à tous les calculs mathématiques futurs.

3. Attaques via les navigateurs d'IA

Si un utilisateur visite un site malveillant pendant qu'il est connecté à son IA préférée, le site peut envoyer des commandes au bot comme s'il s'agissait de l'utilisateur authentifié lui-même. Ces commandes peuvent même modifier la "mémoire" de l'assistant, altérant ses préférences de manière persistante à travers tous les appareils et sessions.

Ampleur de ce type d'attaques via les navigateurs d'IA :

• Comptes bancaires en ligne
• Systèmes d'entreprise
• Emails privés (Gmail, Outlook)
• Stockage cloud (Google Drive, OneDrive)
• Toute ressource accessible via une session authentifiée

4. Empoisonnement des données d'entraînement

Il y aurait, le conditionnel est de rigueur, un risque de création de porte dérobée permanente en injectant quelques centaines de documents malveillants dans un corpus d'entraînement qui en compte des milliards.

Comme les IA apprennent sur des documents publiés sur le web, c'est de ce côté-là que la faille serait à rechercher.