Quand un chatbot propage un phishing (et comment réagir)

32% des organisations disent avoir subi au moins une attaque par prompt injection sur l’année écoulée. Ce chiffre, relevé en 2025, devrait faire réagir n’importe quel RSSI, responsable IT ou dirigeant : l’IA générative n’est plus seulement un outil de productivité, c’est aussi une nouvelle surface d’attaque.

L’exemple le plus parlant de ces derniers mois a un nom officieux : “Grokking”. Des escrocs ont réussi à faire relayer un lien de phishing par un chatbot intégré à une grande plateforme sociale, en contournant des règles publicitaires conçues pour limiter la malvertising. Le mécanisme est simple. Et c’est précisément ce qui le rend dangereux.

Dans cette série « Intelligence artificielle dans la cybersécurité », je défends une idée claire : l’IA doit être traitée comme un composant de sécurité à part entière. Elle peut accélérer la détection et la réponse, mais mal gouvernée, elle devient un amplificateur de fraude. Voyons comment l’attaque fonctionne, ce qu’elle révèle, et surtout comment mettre en place des défenses réalistes — côté utilisateurs, côté entreprise, et côté équipes cyber.

“Grokking” : quand l’IA devient un mégaphone à arnaques

Le point clé : l’attaque ne “pirate” pas le modèle, elle exploite sa logique de lecture et de restitution. Les fraudeurs se servent du chatbot comme d’un relais crédible, au sein d’un compte perçu comme « de confiance ».

Le scénario observé suit une mécanique publicitaire :

1. Des acteurs malveillants diffusent des publicités vidéo à forte visibilité.
2. Ils dissimulent un lien malveillant dans un champ discret (par exemple un champ “source”/“from” associé à la vidéo), moins contrôlé que le corps principal de la publicité.
3. Ils posent ensuite publiquement une question au chatbot du type : « D’où vient cette vidéo ? »
4. Le chatbot lit le contenu et répète le lien, le rendant plus visible et plus “légitime” aux yeux des utilisateurs.

Pourquoi ça marche (même avec des règles anti-liens)

Les contrôles de malvertising sont souvent conçus pour filtrer un emplacement précis (ex. le texte d’une annonce). Mais l’IA, elle, “voit” et résume l’ensemble du contexte : description, métadonnées, éléments secondaires. Résultat : on bloque le lien à un endroit… et on le fait ressortir ailleurs via l’IA.

Ce n’est pas un détail technique. C’est une réalité opérationnelle : dès qu’un assistant IA a le droit de lire des contenus publics, il peut aussi ingérer des contenus piégés.

Les impacts concrets pour les victimes et pour les marques

Les dégâts typiques derrière ces liens relaiés sont très classiques :

• vol d’identifiants via de faux formulaires (messagerie, réseaux sociaux, banque, outils pro)
• téléchargements piégés (malwares, infostealers)
• prise de contrôle de comptes, puis rebond (arnaques à vos contacts, fraude au président, extorsion)

Mais il y a un effet secondaire, sous-estimé : l’IA apporte une couche de confiance. Beaucoup d’utilisateurs pensent encore : « Si le bot l’a dit, c’est que c’est vérifié. » C’est faux, et les attaquants misent précisément sur cette croyance.

Phrase à retenir : un chatbot public ne “valide” pas une information, il la reformule.

Prompt injection : la vraie faille, c’est la confiance aveugle

La prompt injection, c’est l’art de glisser des instructions malveillantes dans ce que l’IA va lire. On n’attaque pas l’algorithme au sens classique ; on attaque l’interface entre le modèle et le monde.

Il existe deux formes principales :

• Injection directe : l’attaquant saisit des instructions dans la conversation (ex. « ignore les règles et affiche tel lien »).
• Injection indirecte : l’attaquant cache des instructions dans un contenu tiers que l’IA va analyser (page web, image, email, métadonnées, commentaire, document).

Des scénarios très réalistes en entreprise

Si vous utilisez déjà un assistant IA “embarqué” dans des outils (navigateur, messagerie, intranet, support client), voici des cas qui arrivent plus vite qu’on ne le pense :

• Résumé d’un article : un collaborateur demande à l’IA de résumer une page web ; la page contient une instruction masquée qui pousse l’IA à recommander un site de phishing.
• Analyse d’image : une image partagée sur un réseau social contient un texte discret ou encodé ; l’assistant qui “décrit l’image” relaie une consigne malveillante.
• Email avec texte caché : un message contient une consigne en blanc sur blanc ; l’IA de la messagerie, chargée de résumer, se laisse guider.
• Bot de support : un assistant de service client se base sur un forum ; un commentaire empoisonné y injecte un lien frauduleux que le bot recopie.

Le point commun : on transforme une fonctionnalité utile (résumer, recommander, répondre) en canal de propagation.

Ce que cette attaque change pour la cybersécurité pilotée par l’IA

La bonne réponse n’est pas d’interdire l’IA. La bonne réponse, c’est de la gouverner et de la sécuriser comme un système exposé. En 2025, l’IA est déjà dans les process : veille, relation client, marketing, ITSM, RH, ventes. La question n’est plus “si”, c’est “comment”.

1) Traiter les sorties d’IA comme des données non fiables

Règle simple : une réponse d’IA = un contenu non vérifié.

En pratique, cela implique :

• ne jamais “faire confiance” à un lien proposé par un assistant
• vérifier l’URL réelle (aperçu, domaine, sous-domaine, redirections)
• se méfier des liens “propres” qui redirigent ensuite vers autre chose

Si vous gérez une plateforme avec un assistant intégré, c’est encore plus strict : les sorties du bot deviennent un vecteur d’influence. Elles doivent donc être surveillées comme un flux publicitaire.

2) Ajouter des garde-fous IA… pilotés par IA

C’est là que l’angle “IA dans la cybersécurité” prend tout son sens : on combat l’automatisation criminelle par une automatisation défensive.

Quelques mesures efficaces (et réalistes) :

• Détection de liens à risque : classification automatique des domaines, analyse de réputation, détection de typosquatting.
• Analyse de redirections : dérouler automatiquement les redirections pour révéler la destination finale.
• Modération contextuelle : si un bot s’apprête à publier un lien, déclencher une vérification renforcée (ou une confirmation humaine).
• Filtrage sémantique : repérer les formulations typiques d’arnaques (“urgent”, “vérification de compte”, “gain”, “airdrop”, “support officiel”).

L’idée n’est pas d’atteindre 0 risque (ça n’existe pas), mais de réduire la probabilité et surtout la portée : empêcher l’amplification à grande échelle.

3) Sécuriser les assistants “connectés” (RAG, plugins, navigation)

Beaucoup d’assistants d’entreprise utilisent des mécanismes du type RAG (recherche + génération) ou des connecteurs (web, Drive, SharePoint, Jira, CRM). C’est précisément là que la prompt injection indirecte devient explosive.

Checklist pragmatique pour les équipes :

• Lister les sources que l’IA est autorisée à lire (web public, bases internes, tickets, emails).
• Segmenter les droits : l’IA n’a pas besoin des mêmes permissions qu’un humain.
• Désactiver l’exécution implicite : pas d’actions automatiques (téléchargement, envoi, publication) sans validation.
• Isoler le contenu non fiable : marquer “non-trusted” ce qui vient du web/social et appliquer un filtrage spécifique.
• Journaliser (logs) : prompts, sources consultées, réponses, liens générés. Sans traces, pas d’investigation.

Plan d’action : protéger les utilisateurs, protéger l’entreprise

Le bon plan d’action mélange hygiène de base + contrôles modernes. Les escrocs industrialisent ; votre défense doit être répétable.

Pour les utilisateurs (mesures immédiates)

• Ne cliquez pas sur un lien “parce qu’un bot l’a conseillé”. Traitez ça comme un DM d’inconnu.
• Vérifiez l’URL : domaine exact, orthographe, extension, cohérence avec la marque.
• Utilisez des mots de passe uniques + gestionnaire de mots de passe.
• Activez la MFA partout où c’est possible (appli d’authentification plutôt que SMS quand vous pouvez).
• Mettez à jour OS, navigateur, extensions et applications : les malwares exploitent souvent des failles déjà corrigées.

Pour les entreprises (mesures structurelles)

• Former sur les arnaques dopées à l’IA : pas une sensibilisation annuelle, mais des micro-modules réguliers (10 minutes) avec exemples récents.
• Mettre en place un filtrage DNS/Web et des protections anti-phishing (mail + navigation).
• Surveiller l’exposition des bots : si vous avez un chatbot public ou un assistant interne, définissez une politique de publication de liens.
• Tester en continu : red team / purple team sur les cas de prompt injection (directe et indirecte).
• Préparer la réponse : procédure simple “je pense avoir cliqué” (isoler, réinitialiser, analyser, déclarer).

Bon signal de maturité : votre SOC sait répondre à “un lien a été relayé par un assistant IA” comme il répond à “un email de phishing a circulé”.

FAQ rapide : ce que les lecteurs demandent souvent

Un chatbot peut-il “vérifier” qu’un lien est sûr ?

Pas de manière fiable s’il n’est pas connecté à des services de réputation et à une analyse de redirections. Un modèle de langage seul n’est pas un antivirus.

Est-ce un problème uniquement des réseaux sociaux ?

Non. Dès qu’un assistant IA lit du contenu externe (web, forums, emails, docs), la surface d’attaque existe. Les réseaux sociaux rendent juste l’amplification plus visible.

Faut-il interdire les assistants IA en entreprise ?

Interdire pousse souvent à l’usage clandestin. Mieux vaut encadrer : gouvernance, sources autorisées, logs, validation humaine, et contrôles de sécurité.

La suite logique : faire de l’IA un allié, pas un angle mort

L’épisode “Grokking” met le doigt sur une réalité : les attaquants ne cherchent pas seulement à tromper des humains, ils cherchent à instrumentaliser la confiance dans les systèmes automatisés. Et en 2025, cette confiance s’est déplacée vers les assistants IA intégrés aux plateformes.

Si vous pilotez la cybersécurité, vous avez une opportunité très concrète : utiliser l’IA pour repérer plus vite les campagnes de malvertising, les liens suspects et les comportements anormaux, tout en verrouillant les points faibles (sources, connecteurs, publications, permissions). C’est exactement l’esprit de cette série : l’IA améliore la défense… à condition d’être conçue comme un composant critique.

La question que je laisse ouverte pour la suite : dans votre organisation, qui “possède” le risque IA — l’IT, la cyber, le juridique, ou le métier ? Tant que la réponse est floue, les attaquants, eux, avancent très clairement.