Comment une opération commerciale impacte vos tests A/B ou MVT? Comment une opération commerciale impacte vos tests A/B ou MVT?

Comment une opération commerciale impacte vos tests A/B ou MVT?

par ,
le 31 décembre 2015

0
0

Si vous lancez des campagnes de test, vous avez dû vous poser cette question : est-ce que je lance mon test pendant les soldes, mes ventes privées ou toute autre opération commerciale importante pour mon business ?
La tentation de profiter de la hausse de trafic pour lancer plus de combinaisons (ou obtenir des résultats plus rapidement) est forte.
Prenons un peu de recul avant de foncer tête baissée.

Lors de ces périodes exceptionnelles, le comportement de vos utilisateurs va évoluer et ils seront à la recherche de 2 informations simples : le prix et la disponibilité de vos produits.
Vous allez voir que ces changements pourront entrer en conflit avec vos tests mais avec un peu de préparation, tout est possible.

Faible impact de vos variations de test

Chez Vertbaudet, une marque de prêt-à-porter pour enfant, nous avions remarqué qu’utiliser le filtre de tailles permettait d’augmenter la valeur de la visite.
Nous avons alors valorisé ce filtre avant la liste des catégories pour augmenter son taux d’utilisation :

Tests-AB-Vertbaudet-difference-resultats-Altima-Fauveaux-Mathieu
Un test lancé sur 2 périodes différentes et des résultats différents!

Ce test est concluant et a été lancé sur 2 périodes différentes avec la première fois une optimisation de +7% de valeur de la visite puis un petit +1%. Ouchh !

Les variations sont identiques, alors quoi ?

Le contexte marketing a évolué et une opération commerciale très agressive était en ligne sur la seconde période de test. Dans ces conditions, l’utilisateur fait abstraction de l’interface et recherche la bonne affaire avant tout. Le risque de détecter des faux positifs est important et les changements que vous pourrez réaliser dans vos tests seront minimisés voire nuls.

Résultats impossibles à reproduire

Comme le démontre l’exemple de Vertbaudet, les résultats d’un test évoluent en fonction de votre contexte : discours marketing, météo, vacances, etc… Rien ne prouve que l’optimisation que vous réaliserez sur cette période sera visible toute l’année.

La solution ?

Vérifiez les performances de votre version gagnante sur une période « normale ».

Impact business important

Une fois en ligne, un test impactera votre CA en fonction de ses performances journalières, c’est ce que nous appelons le  « coût d’une campagne ».

Kézako?

C’est la différence entre le CA qu’aurait pu générer votre version originale VS celui réalisé par vos combinaisons de test. En début de test, ce solde est bien souvent négatif à cause des combinaisons sous-performantes encore activées.

Un autre facteur impacte votre solde : l’apprentissage interne. C’est le temps que met un utilisateur à s’habituer à votre nouvelle interface. Plus votre changement sera important (navigation, structure générale, ..) et plus il faudra de temps à vos anciens visiteurs pour adopter cette nouvelle interface.

Dans cet exemple de redesign de navigation, la valeur de la visite des nouveaux visiteurs est positive dès que le premier jour alors qu’il a fallu attendre 3 semaines pour les anciens!

Apprentissage-internet-valeur-de-la-visite-test-ab-Mathieu-conversion
Le temps d’apprentissage est différent entre un nouveau et un ancien visiteur. Ce temps d’apprentissage a un impact sur votre CA.

Lors d’une grosse opération commerciale, l’impact sur votre solde sera décuplé et la facture peut être très très (..) salée. Vous devez vous assurer de la pertinence de vos hypothèses avec des datas (quanti ou quali) et éviter les tests structurants !

Alors on teste quoi?

Oui on peut lancer des tests et vous devez challenger plusieurs éléments comme :

  • L’impact et la visibilité de la disponibilité produit
  • La création d’urgence sur vos offres / opérations
  • Votre discours marketing

Vous pouvez également profiter de ces périodes pour avancer dans la préparation de vos tests, réaliser des études qualitatives avec vos clients (session recording, questionnaire en ligne, …). L’optimisation doit continuer !

Conclusion.

Vous avez seulement 365 jours de test disponibles et vous devez en tirer profit. Sur ces périodes spécifiques, le contenu de vos campagnes de test sera différent et vos process seront encore plus exigeants (recette de qualité, suivi des résultats, découverte de bug, …) pour sécuriser votre business.

Vous avez un point de vue différent ou une question? On en discute.

mots-clés :

,

articles à lire ensuite...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

0
0

Comment une opération commerciale impacte vos tests A/B ou MVT?