Mesurer l'effet
Réglez la mesure dans la section Mesure de l'éditeur, avant le premier envoi. Deux curseurs y répondent à deux questions différentes : est-ce que ce message sert à quelque chose, et laquelle de mes deux formulations fait agir.
Le groupe témoin
Groupe témoin (%) met de côté une petite part de votre audience, qui ne reçoit rien. Ces clients sont suivis comme les autres : Kult Lab compte ce qu'ils font pendant la même période. La différence entre les deux groupes est l'effet réel du message.
Sans témoin, une campagne de relance qui compte quarante retours ne vous dit pas combien de ces quarante clients seraient revenus de toute façon. Avec 10 % de témoins, elle vous le dit.
| Réglage | Effet |
|---|---|
| 0 % | Tout le monde reçoit le message |
| 10 % | Un client sur dix est gardé de côté, et sert de point de comparaison |
Trois garde-fous vivent dans ce réglage :
- Les témoins sont tirés parmi les clients joignables, pour comparer des gens comparables.
- Une notice n'a jamais de témoin : retenir un message de service pour mesurer quelque chose n'est pas un arbitrage que Kult Lab s'autorise.
- Un témoin apparaît dans vos destinataires avec l'état Témoin, qui dit votre décision.
La version B
Version B (%) envoie à une part de votre audience une seconde formulation du même message. Cinq champs peuvent changer : l'objet, le titre, le texte de l'email, le libellé du bouton et le texte du SMS. Un champ laissé vide reprend la version A, si bien que tester un seul objet est un seul champ à remplir.
Kult Lab refuse de lancer une campagne dont la version B est identique à la version A : écrivez ce qui change, ou remettez le test à 0 %.
Quand le résultat est solide
Les deux mesures se lisent dans l'onglet Analyse de la campagne, et Kult Lab dit quand il refuse de conclure.
| Il faut | Pour que |
|---|---|
| 30 témoins et 5 conversions | Kult Lab annonce un effet chiffré plutôt que deux taux côte à côte |
| 30 messages par version et 5 conversions en tout | Kult Lab nomme une version gagnante |
En dessous, les chiffres restent affichés et la carte dit que l'écart ne se distingue pas encore du hasard. Une liste de trois cents personnes atteint souvent ce plancher en quelques campagnes, pas en une.
Le gagnant se lit sur les conversions. Les clics apparaissent à côté comme signal plus précoce, et quand aucune des deux versions n'a provoqué d'action, la carte dit qu'il n'y a rien à départager.
Retour à la vue d'ensemble des campagnes.