Henkan News ·
Commerce agentiqueFiabilitéVisaBenchmarkRetoursDonnées produit

Visa a testé 22 modèles d'IA sur des achats réels : 42,8 % d'échecs, et dans 54 % des cas l'IA achète quand même

Alexandre Suon·7 min de lecture·
54 % des achats ratés par un agent IA se terminent quand même par une commande, selon le benchmark de Visa
Chiffre : Visa Agentic Commerce Benchmark, communiqué du 5 novembre 2026.

Le 5 novembre, Visa a publié un banc d'essai qui met des agents IA face à de vrais scénarios d'achat. Ils doivent comprendre le besoin du client, puis acheter le bon produit ou ne rien acheter. Les résultats, ce qu'ils disent de la fiabilité des agents, et deux conséquences directes pour un directeur e-commerce : les retours et les données produit.

Dans cet articleAfficher toutes les sectionsMasquer
  1. Synthèse en 30 secondes
  2. 1. L'annonce
  3. 2. Les chiffres
  4. 3. Les échecs
  5. 4. La régularité
  6. 5. Les retours
  7. 6. Les données produit
  8. Termes clés
  9. Sources

Synthèse en 30 secondes

AfficherMasquer ⌄
  • Le 5 novembre 2026, Visa a lancé le « Visa Agentic Commerce Benchmark » : 22 modèles d'IA de 12 laboratoires, testés sur 15 scénarios d'achat (téléviseur, ordinateur portable, appareil de soin), avec trois essais par scénario.
  • Pour réussir, l'IA doit découvrir en dialoguant tous les critères du client, puis acheter le bon produit, ou ne rien acheter si rien ne convient. Les modèles ont échoué dans 42,8 % des essais.
  • Dans 54 % des essais ratés, l'IA a quand même passé commande. Le meilleur modèle réussit 82,2 % de ses essais, le moins bon 28,9 %.
  • Le chiffre le plus parlant concerne la régularité : un scénario n'est réussi trois fois sur trois que dans 34,2 % des cas. Le même agent, face au même client, ne donne pas toujours la même réponse.
  • Pour un e-commerçant, deux conséquences : suivre le taux de retour des commandes passées par des agents, et publier des données produit complètes, car l'agent ne sait que ce que vous écrivez.

Section 1 · L'annonce

Visa met les agents IA face à de vrais clients, avec une règle simple : acheter juste ou ne rien acheter

Visa a publié le 5 novembre 2026 le « Visa Agentic Commerce Benchmark », un banc d'essai qui mesure la capacité des modèles d'IA à faire des achats pour le compte d'un client. Le communiqué le présente comme le premier test de ce type à exiger à la fois la découverte de tous les besoins du client et une bonne décision d'achat.

  • 22 modèles d'IA issus de 12 laboratoires pour ce premier tour.
  • 15 scénarios d'achat réalistes, comme acheter un téléviseur, un ordinateur portable ou un appareil de soin personnel.
  • Trois essais par modèle et par scénario.

Le principe est proche d'une vraie vente. Le client ne donne pas tout d'emblée. L'IA doit poser les bonnes questions pour découvrir ses critères cachés. Ensuite, elle achète un produit qui y répond, ou elle n'achète rien si aucun ne convient. Un essai n'est réussi que si les deux conditions sont remplies.

Benchmark, en clair Un benchmark est un test standardisé : les mêmes exercices, posés à plusieurs modèles, avec les mêmes règles de notation. Il permet de comparer les modèles entre eux et de suivre leurs progrès d'une version à l'autre.

Section 2 · Les chiffres

Près d'un essai sur deux échoue, et l'écart entre modèles est énorme

Exhibit 1 · Taux de réussite des essais d'achat
En % des essais, 22 modèles, 15 scénarios, 3 essais chacun
Meilleur modèle82,2 %Moyenne des modèles57,2 %Moins bon modèle28,9 %
Source : Visa, « Visa Agentic Commerce Benchmark », communiqué du 5 novembre 2026

En moyenne, les modèles réussissent 57,2 % des essais. Autrement dit, ils échouent dans 42,8 % des cas. Le meilleur atteint 82,2 %, le moins bon 28,9 %. Le choix du modèle derrière un agent change donc beaucoup le résultat.

Exhibit 2 · Ce qui sépare les bons modèles des moins bons
Groupe de modèlesTaux de réussiteComparé à
Les 5 qui découvrent le plus de critères cachés70,2 %44,4 % pour les 5 qui en découvrent le moins
Les 5 plus chers par essai67,1 %50,2 % pour les 5 moins chers
Source : Visa, « Visa Agentic Commerce Benchmark », communiqué du 5 novembre 2026

Les modèles qui posent les bonnes questions réussissent nettement mieux. C'est le point central du test : un agent qui ne comprend pas le besoin choisit au hasard parmi des produits plausibles.

Section 3 · Les échecs

Dans 54 % des essais ratés, l'IA passe commande quand même

Le chiffre qui intéresse le plus un e-commerçant est celui-ci : dans 54 % des essais ratés, l'IA a quand même acheté quelque chose. Elle n'a pas compris tout le besoin, ou elle aurait dû s'abstenir, et elle a pourtant passé commande.

Rapporté à l'ensemble des essais, cela fait près d'un essai sur quatre (42,8 % × 54 %, soit près de 23 %, calcul Henkan) qui se termine par un achat que le client n'aurait pas validé.

« Un agent qui choisit le mauvais produit, c'est une commande aujourd'hui et un retour dans dix jours. »

Pourquoi « ne rien acheter » compte Un bon vendeur sait dire « nous n'avons pas ce qu'il vous faut ». Le test de Visa note aussi cette capacité. Un agent qui achète toujours quelque chose fait monter le volume de commandes, mais pas forcément les ventes qui restent.

Section 4 · La régularité

Un scénario n'est réussi trois fois sur trois que dans 34,2 % des cas

Chaque modèle a eu trois essais par scénario. Tous modèles et scénarios confondus, les trois essais n'ont été réussis que dans 34,2 % des cas. Le même agent, face à la même demande, peut donc réussir une fois et échouer la suivante.

Exhibit 3 · Réussir une fois, réussir à chaque fois
En % des essais ou des scénarios, tous modèles confondus
Essais réussis, en moyenne57,2 %Scénarios réussis aux 3 essais34,2 %
Source : Visa, « Visa Agentic Commerce Benchmark », communiqué du 5 novembre 2026

Pour une enseigne, c'est le chiffre le plus gênant. Un taux de réussite moyen se pilote. Un comportement qui change d'une fois sur l'autre se pilote beaucoup moins bien : deux clients avec le même besoin peuvent recevoir deux produits différents.

Visa n'a pas encore testé le paiement. Le communiqué annonce de nouveaux scénarios et catégories de produits, puis l'extension des tests au passage en caisse, au paiement et à la prise de commande. Le benchmark a aussi été partagé avec les principaux fournisseurs de modèles.

Section 5 · Les retours

Mesurer le taux de retour des commandes passées par des agents, pas seulement leur volume

Si un agent se trompe et commande quand même, l'erreur arrive chez vous sous la forme d'un retour. Elle coûte de la logistique, du service client, et parfois un client déçu par la marque alors que l'erreur venait de l'agent.

Exhibit 4 · Le trajet d'une commande ratée par un agent
  1. 1
    La demande du clientLe client décrit son besoin à l'agent, sans tout préciser.
  2. 2
    La commandeL'agent n'a pas trouvé tous les critères et achète un produit plausible. Dans vos chiffres, c'est une vente.
  3. 3
    Le retourLe produit ne convient pas. Dix jours plus tard, la vente devient un retour.

Le volume de commandes venues des agents dira donc peu de chose sur leur valeur. Il faut pouvoir isoler ces commandes et suivre leur taux de retour, et les motifs de retour, à côté de ceux des commandes classiques.

Section 6 · Les données produit

L'agent ne sait que ce que vous publiez : une fiche incomplète le fait deviner

Les modèles qui découvrent le plus de critères réussissent le mieux. Mais découvrir le besoin du client ne suffit pas : l'agent doit ensuite le rapprocher de vos produits. Il ne dispose pour cela que de ce que vous publiez. Si la compatibilité, les dimensions ou les conditions de retour manquent, il devine.

  1. Préparer le suivi des commandes passées par des agents : un marqueur de source dans les commandes, puis le taux et les motifs de retour comparés aux commandes classiques.
  2. Lister les critères qui font qu'un produit convient ou non dans vos catégories clés (taille, compatibilité, usage, puissance) et vérifier qu'ils sont écrits sur chaque fiche, en texte lisible.
  3. Rendre explicites les cas où le produit ne convient pas : incompatibilités, limites d'usage, conditions. C'est ce qui permet à un agent de ne pas acheter.
  4. Garder les conditions de livraison et de retour à jour et visibles sur la fiche produit, pas seulement dans les CGV.
Exhibit 5 · Ce que l'agent cherche, et ce qui se passe s'il ne le trouve pas
Donnée produitQuestion du clientSi l'information manque
Compatibilité« Ça marche avec mon matériel ? »L'agent suppose que oui
Dimensions« Ça rentre dans mon salon ? »L'agent choisit sur la description générale
Usage et limites« C'est adapté à mon cas ? »L'agent achète un produit plausible
Conditions de retour« Et si ça ne va pas ? »Le client découvre les conditions après coup
Source : Grille Henkan à partir des résultats du benchmark Visa
Le point de vue Henkan. Le benchmark de Visa a un mérite : il mesure ce qui compte pour un commerçant, acheter juste ou ne rien acheter, et pas seulement savoir acheter. Le chiffre qui nous frappe le plus chez Henkan est la régularité. Quand un scénario n'est réussi aux trois essais qu'une fois sur trois, l'agent ne se pilote pas comme un canal stable. Il n'y a pas besoin d'attendre que les agents paient pour s'y préparer. Deux chantiers sont déjà utiles : mesurer les retours des commandes venues d'agents dès les premières, et compléter les fiches produit avec les critères qui font qu'un produit convient ou non. Ce second chantier sert aussi les clients humains.

Termes clés

AfficherMasquer ⌄
Commerce agentique
Des achats réalisés par un agent IA pour le compte du client : recherche, comparaison, panier et paiement.
Benchmark
Un test standardisé qui pose les mêmes exercices à plusieurs modèles pour les comparer avec les mêmes règles.
Essai (run)
Une tentative d'un modèle sur un scénario. Dans le test de Visa, chaque modèle a fait trois essais par scénario.
Critère caché
Un besoin que le client ne formule pas d'emblée et que l'agent doit découvrir en posant des questions.
Taux de retour
La part des commandes renvoyées par les clients. Suivi par source, il montre si un canal amène des ventes qui restent.

Sources

AfficherMasquer ⌄
  1. Visa, « Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail », communiqué du 5 novembre 2026
  2. Le même communiqué diffusé par Business Wire, 5 novembre 2026
Alexandre Suon
Alexandre SuonManaging Partner, Henkan & Partners

Alexandre a cofondé et dirige Henkan & Partners. Il décrypte chaque jour une actu e-commerce sur LinkedIn.

Suivre Alexandre ↗