Quand supprimer une version pendant un test AB ou MVT ?

Quand supprimer une version pendant un test AB ou MVT ?

par ,
le 29 novembre 2012

0
0

Bonjour chers lecteurs,

Aujourd’hui, ma plume aiguisée a décidé d’aborder la question de la suppression des versions pendant un test, qu’il soit AB ou MVT.

La question est donc simple : quel est le meilleur moment pour supprimer une version en test ?

L’objectif de la suppression d’une ou de plusieurs version(s) en cours de test est double :

  •  Sécuriser la transfo et donc le CA généré par le site accueillant le test. Qu’il s’agisse de votre site ou de celui de votre client, il est important de toujours jouer avec la notion de risque mesuré.
  • Augmenter le nombre de conversions par version testée et donc tendre asymptotiquement vers des résultats toujours plus stables et fiables.

Personnellement, je me tiens à la règle suivante : pas de suppression au cours de la première semaine de test. Evidemment, cela est possible si en amont votre conception tient la route (Vos versions testées n’ont donc aucune raison de sous-performer). Au bout d’une semaine, vous pouvez ouvrir avec joie Excel et annoncer modestement autour de vous « oui, oui, je touche un peu niveau Excel … ».

Seul élément qui va nous permettre de trancher quant à la suppression de versions : la stabilité des résultats.

Pour cela, nous allons tracer les courbes reprenant les performances quotidiennes du taux de transfo (si on a choisi ce KPI bien sûr). Attention : on ne reprendra pas simplement les datas quotidiennes, mais les datas quotidiennes cumulées.



Voici un exemple de tracé :

En se basant sur les datas cumulées, l’interprétation est plus que simple : plus les courbes sont parallèles, plus les résultats sont stables.

Concrètement, dans l’exemple ci-dessus, on aurait pu être tenté de supprimer la version 3 autour du 15 mai. Or, on voit bien que l’on a eu raison de ne pas la supprimer puisqu’elle remonte quelques jours plus tard et réalise même un uplift positif à partir du 17 (sans doute la réticence de l’utilisateur face à une ou des pages modifiée(s), qui s’atténue progressivement).

Conclusion : interdiction absolue de supprimer une version si vos courbes continuent à se croiser et n’affichent pas une stabilité durable.

articles à lire ensuite...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

0
0

Quand supprimer une version pendant un test AB ou MVT ?