Visa a testé 22 modèles d'IA sur des achats réels : 42,8 % d'échecs, et dans 54 % des cas l'IA achète quand même

Le 5 novembre, Visa a publié un banc d'essai qui met des agents IA face à de vrais scénarios d'achat. Ils doivent comprendre le besoin du client, puis acheter le bon produit ou ne rien acheter. Les résultats, ce qu'ils disent de la fiabilité des agents, et deux conséquences directes pour un directeur e-commerce : les retours et les données produit.
Dans cet articleAfficher toutes les sectionsMasquer
Synthèse en 30 secondes
AfficherMasquer ⌄
- Le 5 novembre 2026, Visa a lancé le « Visa Agentic Commerce Benchmark » : 22 modèles d'IA de 12 laboratoires, testés sur 15 scénarios d'achat (téléviseur, ordinateur portable, appareil de soin), avec trois essais par scénario.
- Pour réussir, l'IA doit découvrir en dialoguant tous les critères du client, puis acheter le bon produit, ou ne rien acheter si rien ne convient. Les modèles ont échoué dans 42,8 % des essais.
- Dans 54 % des essais ratés, l'IA a quand même passé commande. Le meilleur modèle réussit 82,2 % de ses essais, le moins bon 28,9 %.
- Le chiffre le plus parlant concerne la régularité : un scénario n'est réussi trois fois sur trois que dans 34,2 % des cas. Le même agent, face au même client, ne donne pas toujours la même réponse.
- Pour un e-commerçant, deux conséquences : suivre le taux de retour des commandes passées par des agents, et publier des données produit complètes, car l'agent ne sait que ce que vous écrivez.
Section 1 · L'annonce
Visa met les agents IA face à de vrais clients, avec une règle simple : acheter juste ou ne rien acheter
Visa a publié le 5 novembre 2026 le « Visa Agentic Commerce Benchmark », un banc d'essai qui mesure la capacité des modèles d'IA à faire des achats pour le compte d'un client. Le communiqué le présente comme le premier test de ce type à exiger à la fois la découverte de tous les besoins du client et une bonne décision d'achat.
- 22 modèles d'IA issus de 12 laboratoires pour ce premier tour.
- 15 scénarios d'achat réalistes, comme acheter un téléviseur, un ordinateur portable ou un appareil de soin personnel.
- Trois essais par modèle et par scénario.
Le principe est proche d'une vraie vente. Le client ne donne pas tout d'emblée. L'IA doit poser les bonnes questions pour découvrir ses critères cachés. Ensuite, elle achète un produit qui y répond, ou elle n'achète rien si aucun ne convient. Un essai n'est réussi que si les deux conditions sont remplies.
Benchmark, en clair Un benchmark est un test standardisé : les mêmes exercices, posés à plusieurs modèles, avec les mêmes règles de notation. Il permet de comparer les modèles entre eux et de suivre leurs progrès d'une version à l'autre.
Section 2 · Les chiffres
Près d'un essai sur deux échoue, et l'écart entre modèles est énorme
En moyenne, les modèles réussissent 57,2 % des essais. Autrement dit, ils échouent dans 42,8 % des cas. Le meilleur atteint 82,2 %, le moins bon 28,9 %. Le choix du modèle derrière un agent change donc beaucoup le résultat.
| Groupe de modèles | Taux de réussite | Comparé à |
|---|---|---|
| Les 5 qui découvrent le plus de critères cachés | 70,2 % | 44,4 % pour les 5 qui en découvrent le moins |
| Les 5 plus chers par essai | 67,1 % | 50,2 % pour les 5 moins chers |
Les modèles qui posent les bonnes questions réussissent nettement mieux. C'est le point central du test : un agent qui ne comprend pas le besoin choisit au hasard parmi des produits plausibles.
Section 3 · Les échecs
Dans 54 % des essais ratés, l'IA passe commande quand même
Le chiffre qui intéresse le plus un e-commerçant est celui-ci : dans 54 % des essais ratés, l'IA a quand même acheté quelque chose. Elle n'a pas compris tout le besoin, ou elle aurait dû s'abstenir, et elle a pourtant passé commande.
Rapporté à l'ensemble des essais, cela fait près d'un essai sur quatre (42,8 % × 54 %, soit près de 23 %, calcul Henkan) qui se termine par un achat que le client n'aurait pas validé.
« Un agent qui choisit le mauvais produit, c'est une commande aujourd'hui et un retour dans dix jours. »
Pourquoi « ne rien acheter » compte Un bon vendeur sait dire « nous n'avons pas ce qu'il vous faut ». Le test de Visa note aussi cette capacité. Un agent qui achète toujours quelque chose fait monter le volume de commandes, mais pas forcément les ventes qui restent.
Section 4 · La régularité
Un scénario n'est réussi trois fois sur trois que dans 34,2 % des cas
Chaque modèle a eu trois essais par scénario. Tous modèles et scénarios confondus, les trois essais n'ont été réussis que dans 34,2 % des cas. Le même agent, face à la même demande, peut donc réussir une fois et échouer la suivante.
Pour une enseigne, c'est le chiffre le plus gênant. Un taux de réussite moyen se pilote. Un comportement qui change d'une fois sur l'autre se pilote beaucoup moins bien : deux clients avec le même besoin peuvent recevoir deux produits différents.
Visa n'a pas encore testé le paiement. Le communiqué annonce de nouveaux scénarios et catégories de produits, puis l'extension des tests au passage en caisse, au paiement et à la prise de commande. Le benchmark a aussi été partagé avec les principaux fournisseurs de modèles.
Section 5 · Les retours
Mesurer le taux de retour des commandes passées par des agents, pas seulement leur volume
Si un agent se trompe et commande quand même, l'erreur arrive chez vous sous la forme d'un retour. Elle coûte de la logistique, du service client, et parfois un client déçu par la marque alors que l'erreur venait de l'agent.
- 1La demande du clientLe client décrit son besoin à l'agent, sans tout préciser.
- 2La commandeL'agent n'a pas trouvé tous les critères et achète un produit plausible. Dans vos chiffres, c'est une vente.
- 3Le retourLe produit ne convient pas. Dix jours plus tard, la vente devient un retour.
Le volume de commandes venues des agents dira donc peu de chose sur leur valeur. Il faut pouvoir isoler ces commandes et suivre leur taux de retour, et les motifs de retour, à côté de ceux des commandes classiques.
Section 6 · Les données produit
L'agent ne sait que ce que vous publiez : une fiche incomplète le fait deviner
Les modèles qui découvrent le plus de critères réussissent le mieux. Mais découvrir le besoin du client ne suffit pas : l'agent doit ensuite le rapprocher de vos produits. Il ne dispose pour cela que de ce que vous publiez. Si la compatibilité, les dimensions ou les conditions de retour manquent, il devine.
- Préparer le suivi des commandes passées par des agents : un marqueur de source dans les commandes, puis le taux et les motifs de retour comparés aux commandes classiques.
- Lister les critères qui font qu'un produit convient ou non dans vos catégories clés (taille, compatibilité, usage, puissance) et vérifier qu'ils sont écrits sur chaque fiche, en texte lisible.
- Rendre explicites les cas où le produit ne convient pas : incompatibilités, limites d'usage, conditions. C'est ce qui permet à un agent de ne pas acheter.
- Garder les conditions de livraison et de retour à jour et visibles sur la fiche produit, pas seulement dans les CGV.
| Donnée produit | Question du client | Si l'information manque |
|---|---|---|
| Compatibilité | « Ça marche avec mon matériel ? » | L'agent suppose que oui |
| Dimensions | « Ça rentre dans mon salon ? » | L'agent choisit sur la description générale |
| Usage et limites | « C'est adapté à mon cas ? » | L'agent achète un produit plausible |
| Conditions de retour | « Et si ça ne va pas ? » | Le client découvre les conditions après coup |
Termes clés
AfficherMasquer ⌄
- Commerce agentique
- Des achats réalisés par un agent IA pour le compte du client : recherche, comparaison, panier et paiement.
- Benchmark
- Un test standardisé qui pose les mêmes exercices à plusieurs modèles pour les comparer avec les mêmes règles.
- Essai (run)
- Une tentative d'un modèle sur un scénario. Dans le test de Visa, chaque modèle a fait trois essais par scénario.
- Critère caché
- Un besoin que le client ne formule pas d'emblée et que l'agent doit découvrir en posant des questions.
- Taux de retour
- La part des commandes renvoyées par les clients. Suivi par source, il montre si un canal amène des ventes qui restent.


