Volatilité des réponses IA : ce qui bouge n'est pas ce que vous surveillez

Toute personne qui vend du suivi de visibilité IA vous dira que la même question ne donne pas deux fois la même réponse. C'est exact, c'est même le fait fondateur du métier, et c'est presque toujours cité de seconde main : un chiffre repris d'une étude anglophone, un seuil d'exécutions annoncé sans que personne ne l'ait vérifié sur ses propres requêtes.

Nous avons donc fait la manipulation. Deux questions d'achat françaises, dix exécutions chacune, un relevé complet des sources citées et des marques nommées à chaque passage. Le résultat n'est pas celui que nous attendions, et il change la façon de lire un tableau de bord : ce qui varie n'est pas la couche que la plupart des outils surveillent.

Le relevé : deux questions, vingt exécutions, trois minutes et demie

Les deux questions sont posées à Perplexity, modèle sonar-pro, recherche web activée, par l'API, le 29 août 2026 entre 06h07 et 06h11 UTC. Aucune personnalisation, aucun historique de conversation, aucun paramètre modifié entre les passages. Le texte de la question est strictement identique à chaque fois.

La première question relève d'un achat logiciel : « Quel logiciel de paie choisir pour une PME de 50 salariés en France ? ». La seconde d'un achat assurance : « Quelle mutuelle santé collective choisir pour une entreprise de 20 salariés en France ? ». Deux marchés français encombrés, deux univers de contenu très différents, et dans les deux cas une question à laquelle un dirigeant s'attend à recevoir des noms.

Pour chaque réponse, nous relevons deux choses distinctes, et c'est la distinction qui fait tout l'intérêt du relevé : les URL citées, c'est-à-dire ce que le moteur est allé chercher, et les marques nommées, c'est-à-dire ce qu'il en a fait. Les vingt appels ont coûté 0,35 dollar au total.

Question 1 : vingt sources qui ne bougent jamais

Sur les dix exécutions de la question paie, le moteur cite vingt sources. Les mêmes vingt sources. Dans le même ordre. À chacune des dix exécutions, sans une seule substitution.

C'est un résultat que nous n'attendions pas, et qui contredit frontalement l'intuition dominante. On répète volontiers que les citations d'un moteur génératif tournent en permanence ; ici, la couche de récupération est parfaitement stable sur une fenêtre de quatre-vingt-treize secondes. Un éditeur qui aurait mesuré sa présence dans ces sources dix fois de suite aurait obtenu dix fois le même chiffre, et aurait eu raison de le croire.

Le contenu de ce jeu de sources mérite d'être décrit, parce qu'il ressemble à ce que nous voyons dans la plupart des marchés B2B français. Sur les vingt URL, une large majorité sont des comparatifs publiés par des tiers : agrégateurs de logiciels, médias RH, cabinets comptables, sites de contenu. Cinq domaines seulement appartiennent à un éditeur du marché, silae.fr, payfit.com, skello.io, agendrix.com et malibou.com. Nous y revenons plus bas, parce que le sort réservé à ces cinq-là est le résultat le plus utile du relevé.

Les mêmes sources, neuf marques recommandées

Passons à l'autre couche. À partir de ce corpus rigoureusement constant, les dix réponses nomment neuf marques différentes, et trois seulement sont présentes à tous les coups.

Marque	Apparitions sur 10 exécutions
Silae	10
PayFit	10
Nibelis	10
Sage	8
Kelio	7
Lucca	4
EBP Paie	1
OpenPaye	1
DIMO Software RH	1

Le classement bouge aussi. Silae est la première marque nommée dans huit réponses, PayFit dans deux. Le décompte s'arrête là, et volontairement : plusieurs réponses ne rendent aucun verdict unique et se contentent de conditionner leur recommandation au profil de l'entreprise, ce qui rend tout classement plus fin discutable. Une marque comme Lucca, présente quatre fois sur dix, se trouve exactement dans la zone où un relevé mensuel unique donne un résultat au hasard : quatre chances sur dix d'exister ce jour-là.

Autrement dit, avec un corpus de sources figé, la génération produit à elle seule une variabilité qui suffit à rendre un relevé isolé ininterprétable. Ce n'est pas la recherche web qui introduit le bruit. C'est l'étape d'après.

Le budget varie d'un facteur trente-cinq, à sources constantes

La démonstration la plus nette ne porte pas sur les noms, mais sur les chiffres. Neuf réponses sur dix annoncent un budget logiciel de 50 à 100 euros par mois pour une PME de cinquante salariés. Cinq réponses citent en plus un ordre de grandeur de 15 à 35 euros par salarié et par mois. Et une seule fait la multiplication, pour conclure à une enveloppe de 750 à 1 750 euros par mois.

Les vingt sources sont les mêmes dans les dix cas. Un dirigeant qui pose cette question repart donc, selon le tirage, avec un budget annoncé compris entre 50 euros et 1 750 euros par mois. Un facteur trente-cinq, sans qu'aucune information nouvelle ne soit entrée dans le système.

Une seule exécution sur dix, la plus longue, produit un tableau de prix éditeur par éditeur. C'est un rappel utile pour qui juge un moteur sur une capture d'écran : la richesse de la réponse est elle-même une variable aléatoire. Nous détaillons ailleurs pourquoi la fausse précision décimale n'a aucun sens sur une base pareille.

Trois éditeurs cités dix fois, jamais recommandés

Revenons aux cinq domaines d'éditeurs présents dans le corpus. Leur sort partage le groupe en deux, et cette coupure est le résultat le plus directement actionnable du relevé.

Silae et PayFit fournissent chacun une source et sont recommandés dix fois sur dix. Skello, Agendrix et malibou fournissent chacun une source, elle aussi présente aux dix exécutions, et ne sont recommandés aucune fois sur dix. Leurs pages sont des comparatifs de logiciels de paie publiés sur leur propre site, exactement le format que l'on conseille de produire pour être cité. Ils sont effectivement cités. Ils ne sont jamais retenus.

Le cas symétrique est encore plus parlant. Nibelis est recommandé dix fois sur dix et ne fournit aucune des vingt sources. Son site n'est pas dans le corpus. Sa présence dans la réponse est intégralement construite par ce que des tiers écrivent de lui.

C'est la distinction que nous avons mesurée sur d'autres familles de requêtes, celle entre être cité comme source et être recommandé comme solution, et elle se vérifie ici dans les conditions les plus contrôlées possibles : corpus figé, question identique, dix passages. Publier sa page achète l'entrée dans le corpus. Elle n'achète pas la ligne de recommandation, qui se joue dans les sources tierces.

Question 2 : deux plans de recherche, jamais un troisième

La seconde question donne un résultat opposé, et c'est ce qui interdit d'ériger la première en règle.

Sur les dix exécutions de la question mutuelle, le moteur n'utilise pas un jeu de sources, mais deux, et jamais un troisième. Un premier jeu de vingt URL, presque exclusivement des comparateurs et des classements de mutuelles. Un second jeu de quatorze URL, de nature très différente : une fiche de service-public.gouv.fr, plusieurs sites d'assureurs, un article sectoriel. À l'intérieur de chaque jeu, la liste est identique à l'URL près et dans le même ordre, comme sur la première question. Mais d'une exécution à l'autre, le moteur bascule de l'un à l'autre.

Le jeu « comparateurs » sort quatre fois sur dix, le jeu « institutionnel » six fois sur dix. Les deux listes ne partagent que deux URL sur vingt et quatorze. Ce sont deux dossiers documentaires distincts sur la même question, et non deux variantes d'un même corpus.

Ce que le plan de recherche autorise à dire

La conséquence est mécanique, et elle est visible marque par marque.

Marque	Jeu « institutionnel » (6 tirages)	Jeu « comparateurs » (4 tirages)
Malakoff Humanis, AG2R La Mondiale, AÉSIO	5	4
April	5	3
AXA	5	2
SwissLife	5	0
Groupama	5	0
Apicil	4	1
Generali	4	0
Harmonie Mutuelle	0	2

SwissLife, Groupama et Generali n'existent que si le jeu institutionnel est tiré. Harmonie Mutuelle n'existe que si c'est l'autre. Aucune de ces marques n'a fait quoi que ce soit entre deux exécutions séparées de quelques secondes : leur présence dans la réponse dépend entièrement d'un arbitrage de recherche qui se joue avant que la moindre phrase ne soit rédigée.

Le prix suit exactement la même règle. Les six réponses issues du jeu institutionnel donnent toutes une fourchette de 7 à 150 euros par mois et par salarié. Les quatre réponses issues du jeu comparateurs n'avancent aucun chiffre. La page qui porte cette fourchette n'appartient qu'à un des deux dossiers. Qu'un acheteur reparte ou non avec un ordre de prix ne dépend donc ni de sa question ni de son marché, mais du plan de recherche qui s'est déclenché.

Une réponse sur dix, enfin, ne nomme aucune marque du tout. Elle énumère des critères et s'arrête là. Sur ce marché de l'assurance et de la banque, une entreprise qui compterait ses citations sur un seul relevé aurait donc une chance sur dix d'observer un marché sans acteurs.

Deux étages qui échouent séparément

Le rapprochement des deux questions donne la grille de lecture. Une réponse générative se fabrique en deux temps, et les deux temps sont instables indépendamment l'un de l'autre.

L'étage de récupération choisit quoi lire. Sur la question paie, il est parfaitement déterministe sur notre fenêtre d'observation. Sur la question mutuelle, il oscille entre deux dossiers dont le recouvrement est presque nul. L'étage de génération choisit quoi dire du corpus retenu. Sur la question paie, avec un corpus figé, il produit neuf marques, deux têtes de classement et un budget qui varie d'un facteur trente-cinq.

Trois conséquences pratiques en découlent, et elles sont plus utiles qu'un seuil universel d'exécutions.

Mesurez les deux étages séparément. Un tableau de bord qui n'affiche qu'un taux de citation confond une couche stable et une couche volatile. Relevez d'un côté les domaines cités, de l'autre les marques nommées et leur rang. Les deux séries n'ont pas le même bruit et ne se lisent pas au même rythme.

Le nombre d'exécutions nécessaire est une propriété de votre question, pas du moteur. Nos deux questions, posées au même modèle à quelques minutes d'intervalle, n'ont pas du tout le même comportement. Un seuil repris d'une étude générale ne vous dit rien de la vôtre. La seule façon de le savoir est de poser dix fois vos propres questions et de regarder ce qui bouge, ce que nous avons décrit comme la quatrième source de données d'un dispositif de mesure.

Une marque dans la zone médiane est votre vrai chantier. Lucca à quatre sur dix, Harmonie Mutuelle à deux sur dix, Apicil à cinq sur dix : ce sont les positions où un relevé unique est un tirage au sort, et ce sont aussi les seules où le travail éditorial peut faire basculer un résultat. Une marque à zéro sur dix a un problème de notoriété, pas de contenu. Une marque à dix sur dix n'a rien à gagner.

Combien d'exécutions, alors ?

La question que tout le monde pose mérite une réponse chiffrée, et elle se déduit du relevé plutôt que d'un seuil emprunté.

Pour une marque présente dans la zone médiane, dix exécutions donnent un intervalle encore très large : sur dix tirages, une marque réellement présente une fois sur deux peut sortir à trois comme à sept. C'est suffisant pour classer une marque en trois catégories, absente, intermittente, systématique, ce qui est déjà le plus utile. Ce n'est pas suffisant pour affirmer qu'un taux est passé de 40 à 50 %.

Notre recommandation opérationnelle tient donc en deux temps. Commencez par dix exécutions sur chacune de vos questions, en une seule journée, pour établir la catégorie de chaque marque et, surtout, pour savoir si votre question ressemble à la première ou à la seconde. Puis, seulement pour les questions et les marques qui se révèlent intermittentes, montez le nombre de répétitions et espacez les relevés dans le temps. C'est cette logique qui structure notre suivi de visibilité IA, où le nombre de répétitions par question compte davantage que le nombre de questions, et c'est aussi le chiffre à exiger d'un éditeur d'outil GEO avant de signer.

Les limites de ce relevé

Elles sont réelles et il faut les poser avant que quelqu'un ne les pose à notre place.

Un seul moteur, un seul modèle, une seule journée. Perplexity en sonar-pro n'est pas ChatGPT, ni Gemini, ni les AI Overviews. Nous savons par ailleurs que deux moteurs ne citent pas les mêmes familles de sources sur une même question, et rien ne garantit que le comportement à deux étages observé ici se transpose tel quel.

Nous ne pouvons pas exclure un effet de cache. La stabilité parfaite du corpus sur la première question pourrait venir d'une récupération déterministe comme d'un cache de résultats de recherche servi pendant quelques minutes. L'observation qui plaide contre une explication purement technique est que la seconde question, posée dans la même fenêtre et par le même canal, a basculé six fois sur dix vers un autre dossier. Un cache global n'expliquerait pas cette différence. Un cache par requête, en revanche, resterait compatible avec nos observations, et nous ne le distinguons pas.

Vingt exécutions ne font pas une étude. Deux questions, deux marchés, un jour. C'est une mesure reproductible, pas un taux généralisable, et l'intérêt de la publier est précisément que vous la refassiez sur vos propres questions plutôt que de reprendre nos chiffres.

Nous mesurons l'API, pas l'interface. Un utilisateur qui interroge le moteur depuis son navigateur apporte une localisation, un historique, parfois un compte. Ces variables s'ajoutent à celles que nous avons isolées ici, et ne peuvent que dégrader la stabilité observée. Nos chiffres sont donc un plancher de volatilité, pas un plafond.

Un détail annexe, sans incidence sur les résultats mais qui invite à la prudence sur les métadonnées : dans les vingt sources de la première question, l'intitulé renvoyé pour l'une des URL est le nom d'une marque, « Deel », alors que le titre réel de la page est « Logiciel de Paie: les 13 Meilleurs outils Gestion de Paie en 2026 ». Un relevé automatisé qui compterait les mentions de marque à partir des libellés de sources compterait ici une mention qui n'existe pas. C'est le genre d'artefact qui produit ensuite un signalement d'erreur sur une marque là où il n'y a qu'un problème d'extraction.

Ce qu'il faut retenir

Une réponse générative se fabrique en deux étages, et les deux ne bougent pas ensemble. Sur notre question paie, les vingt sources sont identiques aux dix exécutions et ce sont les recommandations qui varient : neuf marques, deux têtes de classement, un budget annoncé de 50 à 1 750 euros par mois. Sur notre question mutuelle, ce sont les sources qui basculent, entre deux dossiers ne partageant presque rien, et cette bascule décide seule si SwissLife, Groupama et Generali existent, ou si c'est Harmonie Mutuelle, et si l'acheteur repart avec un prix.

La conséquence tient en une phrase : le nombre d'exécutions dont vous avez besoin est une propriété de vos questions, et vous ne le connaîtrez qu'en le mesurant. Poser dix fois vos dix questions coûte moins de deux dollars d'API, au tarif où nous avons relevé les nôtres, et vous dit lequel des deux régimes vous concerne. C'est un préalable à toute lecture de tableau de bord, et le contraire d'un chiffre repris d'une étude.

Reste le résultat qui décide du travail éditorial. Trois éditeurs figuraient dans le corpus aux dix exécutions avec un comparatif publié chez eux, et n'ont jamais été recommandés. Nibelis, absent du corpus, l'a été dix fois sur dix. Savoir dans quel groupe vous vous situez sur vos propres questions, et ce qui manque pour changer de groupe, c'est l'objet d'un audit GEO, dont nous publions les fourchettes de prix.