L'ensemble concurrentiel : quand la mesure dépend des voisins

En avril 2026, nous avons exécuté deux fois, à une demi-heure d’intervalle, un audit sur une marque SaaS de notoriété intermédiaire. Les mêmes modèles, le même corpus de prompts, la même langue des requêtes. En une demi-heure, aucun nouvel acteur n’était apparu dans la catégorie, la marque n’avait modifié ni son site ni son positionnement ; même les caches des fournisseurs d’IA, entre les deux exécutions, restaient pratiquement entièrement amorcés. La marque a obtenu quasiment le même score global — un écart d’environ deux points, soit dans les limites du bruit habituel d’une mesure répétée.

Et ce n’est qu’en ouvrant le second tableau — la part des mentions dans les réponses — que l’image a changé. Pour l’un des modèles, cet indicateur a presque triplé en une demi-heure. Pour un autre, il a à peu près doublé. Pour un troisième, le déplacement était plus modéré, mais restait malgré tout au-delà d’un bruit raisonnable.

L’explication s’est révélée décevamment simple : entre les deux exécutions, la recherche automatique des concurrents avait légèrement réécrit la liste des voisins. Un acteur est sorti de l’ensemble, un autre a pris sa place. La marque n’est pas devenue plus visible dans les réponses. Ce sont simplement les voisins à partir desquels sa part était calculée qui ont changé — et l’arithmétique a fait le reste.

Ce n’est pas une anecdote sur un système défaillant. C’est un effet typique, que l’on rencontre chaque fois qu’une mesure prétend porter sur un seul objet alors qu’en réalité elle le mesure dans son entourage. Et presque tout outil d’analyse de visibilité IA mesure précisément de cette manière.

L’« ensemble concurrentiel » — competitive set — existe dans la recherche marketing bien avant la visibilité IA. Chez Aaker et Keller, dans les travaux sur la brand equity, c’est une notion de travail de la fin des années 1990 : un cercle fixe de marques par rapport auxquelles on mesure la marque étudiée. Chez Kapferer, on trouve une notion voisine, celle de frame of reference : le cercle de référence à l’intérieur duquel la marque ne prend sens qu’en relation avec d’autres.

L’idée est simple : aucune marque n’existe seule. Elle a toujours des voisines — celles auxquelles l’acheteur la compare au moment du choix. Et le chercheur qui mesure la force d’une marque doit nommer explicitement ces voisines. Faute de quoi les chiffres qu’il obtient ne sont plus clairement rattachés à quoi que ce soit.

Dans un brand tracker classique, l’ensemble concurrentiel est constitué manuellement — en général deux à quatre concurrents directs, plus un ou deux acteurs « indicateurs » issus de catégories voisines. La liste est figée dans le design de l’étude, et lors d’une nouvelle mesure six mois ou un an plus tard, on reprend exactement les mêmes noms. Si le chercheur décide de mettre l’ensemble à jour, cela devient une décision méthodologique distincte, mentionnée dans le rapport.

En visibilité IA, les choses se passent autrement. Le plus souvent, c’est le modèle lui-même qui recherche les concurrents : on lui soumet quinze à vingt prompts du type « qui d’autre vaut la peine d’être envisagé dans cette catégorie », on agrège les réponses — et on obtient un ensemble. C’est pratique : le chercheur n’a pas besoin de connaître en profondeur le marché d’autrui, ni de deviner qui inclure. Mais cette commodité a un prix : la recherche automatique produit des résultats légèrement différents d’une exécution à l’autre. L’ensemble cesse alors d’être une partie stable du design pour devenir une variable flottante.

Les métriques de visibilité IA se divisent en deux classes selon leur sensibilité à la composition des voisins. Il est utile de les distinguer, car elles sont fondamentalement construites différemment, même si, dans le rapport, elles figurent côte à côte et se ressemblent.

La première classe regroupe les métriques qui décrivent ce qui se passe pour la marque elle-même. Est-elle apparue dans la réponse du modèle ? À quelle position ? À quelle fréquence est-elle entrée dans les trois premières ? A-t-elle reçu une recommandation explicite ? Ces indicateurs sont calculés d’après le comportement du modèle à l’égard d’une seule marque. Si le modèle répond à peu près de la même manière, le chiffre reste à peu près le même, indépendamment de ceux qui figurent encore dans l’ensemble. L’apparition d’une nouvelle entreprise dans les lignes voisines du tableau ne les modifie presque pas.

La seconde classe regroupe les métriques de part. La part des mentions de la marque sur l’ensemble des mentions de toutes les marques. La part des scénarios dans lesquels la marque est apparue sur l’ensemble des scénarios où le modèle a cité au moins quelqu’un. La part des citations du domaine de la marque sur l’ensemble des citations des domaines des concurrents. Ces indicateurs sont, par nature, relatifs. Ils ont un numérateur — ce qui se rapporte à la marque mesurée. Et un dénominateur — ce qui se rapporte à l’ensemble entier. Si un nouvel acteur entre dans l’ensemble et que le modèle le mentionne moins souvent que les autres, le dénominateur total diminue. Le numérateur ne bouge pas. La part augmente.

C’est la même arithmétique par laquelle vous devenez automatiquement plus riche si le fils du banquier quitte votre classe à l’école. Votre patrimoine n’a pas changé, mais votre place dans la distribution, elle, a changé, et toute statistique calculant « à quel rang vous vous situez en revenu » donnera désormais un autre chiffre. Rien de malhonnête là-dedans. La mesure dépendait simplement de la composition du groupe, et le groupe a changé.

Voilà pourquoi, lorsque nous disons « la part des mentions de la marque a augmenté », il faut garder à l’esprit deux affirmations différentes. Premièrement : le modèle mentionne réellement la marque plus souvent — le comportement a changé. Deuxièmement : les voisins ont changé, le dénominateur a été recalculé, la part a dérivé — le comportement a pu rester identique. Sans figer explicitement l’ensemble, il est facile de confondre ces deux cas. Et si la décision prise à l’issue de l’audit (lancer ou non une campagne, déplacer ou non le positionnement, investir ou non dans une stratégie de contenu) repose sur la première interprétation alors que la seconde est en réalité à l’œuvre, le coût de l’erreur peut être élevé.

Un modèle d’IA ne répond pas de manière identique à un prompt identique. Même lorsque le chercheur réduit au minimum l’aléa via les réglages de génération, il reste au modèle un choix entre plusieurs prolongements plausibles de la réponse, et ce choix peut légèrement varier d’un lancement à l’autre. Ce n’est pas un défaut, c’est une propriété du fonctionnement des modèles génératifs modernes.

Quand nous demandons « qui d’autre vaut la peine d’être envisagé dans la catégorie X », la réponse commence presque toujours de la même manière — les deux ou trois mêmes leaders incontestés que le modèle donnera à n’importe qui. Les différences apparaissent à la frontière de la liste. Lorsqu’on arrive au huitième, au neuvième, au dixième nom — le modèle a en tête des candidats à peu près équiprobables, et leur classement varie légèrement à chaque fois.

Si l’on additionne quinze à vingt réponses de ce type issues d’une exécution, puis autant d’une autre, les listes agrégées coïncident dans leur partie haute et divergent dans leur partie basse. Une marque qui, la première fois, avait obtenu juste assez de voix pour entrer dans les huit finales se retrouve neuvième la seconde fois et sort de l’ensemble. Une autre prend sa place — celle qui, la fois précédente, occupait la dixième position.

Du point de vue du design de l’étude, c’est une mauvaise nouvelle : la périphérie de l’ensemble est mobile par construction, et aucun effort du système ne la stabilisera complètement. On peut augmenter le nombre de prompts servant à rechercher les concurrents — il y aura une amélioration, mais pas radicale. On peut préchauffer les caches des fournisseurs — cela réduit le coût, mais change très peu le contenu. Le tremblement à la frontière de la liste demeure.

Du point de vue pratique, cela signifie une chose simple : tant que l’ensemble concurrentiel est redéfini à chaque exécution, comparer les exécutions entre elles à l’aide de n’importe quelle métrique comportant un dénominateur est techniquement incorrect. Le score global de la marque tient, parce qu’il repose principalement sur des métriques de première classe. Les parts, elles, ne tiennent pas.

AI100 traite ce problème de la manière suivante. Lors du premier audit d’une marque, le système constitue l’ensemble concurrentiel selon la procédure habituelle : recherche automatique, plus possibilité pour le client d’ajouter manuellement les noms qu’il juge importants, ou de retirer ceux qu’il estime non pertinents. La liste finale — celle que le client a validée avant le lancement — est enregistrée comme première version de l’ensemble concurrentiel de cette marque.

Lors d’un nouvel audit de cette même marque, le système réutilise par défaut cet ensemble. Dans le formulaire de lancement, le client voit apparaître l’indication suivante : « cette marque dispose déjà d’un ensemble concurrentiel daté du …, voulez-vous l’utiliser ? ». Si la réponse est « oui », la nouvelle mesure est réalisée face au même cercle de voisins que la précédente, et les métriques de part deviennent honnêtement comparables.

Si le client souhaite revoir l’ensemble — ajouter un nouvel acteur, retirer un acteur sorti du marché, ou actualiser entièrement la liste — il s’agit d’une action explicite qui crée une nouvelle version de l’ensemble concurrentiel. Dans le rapport, la note figurant au bas de la section méthodologique indique précisément quelle version a été utilisée, à quelle date elle a été créée et combien de marques elle contient. Cela permet au client, lorsqu’il compare plusieurs rapports, de voir immédiatement s’il s’agit de deux exécutions avec le même ensemble de voisins ou de deux exécutions avec des ensembles différents.

Un audit neuf pour une marque qui n’a jamais été étudiée recherche les concurrents à partir de zéro — mais le client peut toujours intervenir et ajuster l’ensemble avant le lancement. Ici, le système ne « se souvient » de rien, puisqu’il n’y a rien à mémoriser ; en revanche, la constitution du premier ensemble se fait sous le contrôle du client, et ne reste pas une étape cachée.

En réalité, les situations où une mise à jour a du sens sont peu nombreuses.

Six à douze mois se sont écoulés, et la catégorie a visiblement changé — certains acteurs sont partis, d’autres ont fortement progressé, le marché lui-même a évolué. Dans ce cas, l’ancien ensemble commence à mentir sur la réalité actuelle ; il faut donc le rafraîchir, même si cela rompt la comparabilité avec les chiffres de l’an dernier. Ici, le prix d’une image fidèle du réel est supérieur à celui d’une dynamique continue.

Un acteur important est apparu alors qu’il n’existait tout simplement pas dans le premier ensemble. S’il s’agit d’un ou deux noms, il est plus simple de les ajouter manuellement sans lancer une révision complète — la structure générale de l’ensemble sera préservée, et la majorité des parts restera comparable. En revanche, s’il y a d’emblée beaucoup de nouveaux noms, c’est très probablement le signe qu’il faut réviser l’ensemble en entier.

La marque a changé de positionnement ou s’est déplacée vers une catégorie voisine. L’ensemble concurrentiel doit suivre la marque — faute de quoi la mesure ne montrera plus la visibilité réelle, mais la visibilité dans une catégorie à laquelle la marque n’appartient déjà plus.

Dans tous les autres cas, il vaut mieux conserver l’ancien ensemble. La tentation naturelle de « mettre à jour pour que ce soit plus frais » joue ici contre l’utilité de l’étude : chaque mise à jour annule la possibilité de comparer avec les exécutions précédentes. La décision par défaut consistant à « conserver » relève ici de la rigueur méthodologique pure, et non du conservatisme.

La frontière précise entre « une variation des parts causée par un déplacement de l’ensemble » et « une variation des parts causée par un véritable déplacement de visibilité » est indissociable dans une seule exécution répétée. Pour les séparer, il faut soit un ensemble figé, soit deux exécutions avec le même déplacement d’ensemble, soit une analyse spécifique de stabilité — c’est une tâche méthodologique distincte que les chercheurs appliqués en visibilité IA résolvent encore de manière variable.

Un audit répété sans figer l’ensemble concurrentiel ne montre pas la dynamique de la marque, mais la superposition de cette dynamique avec les déplacements dans la composition des voisins. Pour des décisions fondées sur la comparaison des exécutions entre elles — il faut figer l’ensemble. Pour une évaluation fraîche du marché — il faut l’actualiser. Il ne faut pas confondre ces deux régimes et il faut indiquer explicitement dans le rapport sous quel régime le travail est mené.