Un groupe témoin permet de poser une question précise : que se serait-il passé si cette campagne n’avait pas été envoyée ? Il peut aider à estimer un effet supplémentaire, à condition de disposer de groupes comparables et d’une mesure identique pour chacun.
Cette méthode demande plus qu’un tableau de ventes après l’envoi. Elle n’exige pas, en revanche, d’observer chaque ouverture ou chaque clic. Le point décisif est de pouvoir produire un résultat fiable par groupe, avec un traitement des données maîtrisé.
Choisir entre comparer deux messages et tester un envoi
Un test A/B compare deux variantes : par exemple, deux façons de présenter un atelier. Un test avec groupe témoin compare l’envoi à une situation sans cet envoi. Le premier renseigne sur le choix de contenu ; le second vise l’effet de la campagne.
Ces questions peuvent conduire à des dispositifs différents. Ne les mélangez pas dans votre conclusion. Si les deux groupes reçoivent une offre, vous ne mesurez pas ce qui se serait passé sans offre.
Commencez par une phrase : « Nous voulons savoir si cette invitation augmente les inscriptions à cet atelier pendant la période retenue. » Écartez les messages indispensables au service, comme un changement de lieu pour des participants déjà inscrits. Un test marketing ne doit pas priver certaines personnes d’une information nécessaire.
Vérifier que le résultat peut être mesuré dans les deux groupes
Voici la difficulté la plus souvent oubliée. Si vous comptez seulement les formulaires accessibles depuis le lien de l’email, le groupe témoin n’a pas la même possibilité d’être observé. Le dispositif confond alors l’effet de l’envoi et la façon de compter.
Cherchez un résultat enregistré indépendamment du message : inscription à une activité, demande qualifiée ou commande, quel que soit le chemin suivi. Le système qui produit ce résultat doit pouvoir fournir un total pour chaque groupe.
Cette production peut utiliser des données déjà nécessaires à la relation, puis restituer seulement des agrégats. Elle demande toutefois un examen réel : quelles données sont rapprochées, par qui, pour combien de temps et dans quel cadre ? Un tableau final anonyme ne décrit pas à lui seul ce qui a été traité en amont.
Si vous ne disposez pas d’une mesure appropriée, ne créez pas en urgence des liens individuels ou un historique de navigation pour sauver le test. Vous pouvez plutôt recueillir des retours explicites et analyser des évolutions globales, en les présentant comme telles. Un avant-après reste une observation, pas l’équivalent d’un groupe témoin.
Écrire le protocole avant de voir les résultats
Préparez une fiche que l’équipe pourra relire après l’envoi.
| Décision | Ce qu’il faut écrire |
|---|---|
| Question | L’effet précis que l’on cherche à estimer |
| Population | Les personnes éligibles et les exclusions |
| Répartition | La méthode de tirage et les proportions prévues |
| Résultat principal | La définition d’une inscription ou demande comptée |
| Période | Le début et la fin de l’observation |
| Autres actions | Les messages et promotions prévus en parallèle |
| Décision finale | Ce qui justifierait poursuivre, revoir ou arrêter |
Microsoft recommande notamment, pour ses expériences contrôlées, de définir l’hypothèse, de prévoir des périodes comparables et de surveiller les écarts entre répartition attendue et observée. Ces principes sont transposés ici à la conception d’un test email. Source : Microsoft, bonnes pratiques d’expérimentation.
Prévoir la fin d’observation évite de choisir après coup le jour où le résultat paraît le plus favorable. Si un événement impose un changement, documentez-le et reconsidérez ce qu’il est possible de conclure.
Répartir l’audience sans utiliser un score de lecture
Le tirage doit intervenir parmi les personnes éligibles au même envoi. Ne placez pas vos « meilleurs lecteurs » dans un groupe et les autres dans le témoin. Vous compareriez des populations choisies pour leurs différences.
Conservez l’affectation pendant le test. Une personne ne doit pas changer de groupe parce qu’un résultat apparaît. Faites respecter les désinscriptions, et notez les exclusions appliquées avant ou pendant l’opération.
Pour une expérience simple, évitez de multiplier les variantes et sous-groupes. Chaque découpage réduit la quantité d’information disponible. Si plusieurs personnes d’une même structure partagent facilement le message, discutez aussi de ce risque de contamination : l’indépendance entre groupes ne va pas de soi.
Exemple fictif : six inscriptions de plus ne suffisent pas à conclure
Imaginons deux groupes de 1 000 personnes, réparties aléatoirement, avec une observation complète des inscriptions sur la même période. Le groupe qui reçoit l’email compte 36 inscriptions ; le témoin en compte 30.
Le taux observé est de 3,6 % contre 3 %. L’écart est de 0,6 point de pourcentage. Rapporté au taux du témoin, il représente 20 % de plus. Cette dernière présentation semble spectaculaire, mais elle repose sur six inscriptions de différence.
Avec une approximation statistique courante pour deux proportions indépendantes, l’intervalle à 95 % autour de cet écart va approximativement de −0,97 à +2,17 points. Il contient zéro : les données ne permettent pas de conclure clairement à un effet positif. Ce calcul illustre l’incertitude ; il ne constitue pas une prévision de performance.
La décision raisonnable peut être de conserver le résultat comme non concluant, d’améliorer le dispositif ou de préparer un test plus informatif. « Non concluant » ne signifie ni que l’email fonctionne, ni qu’il ne fonctionne pas.
Examiner les incidents avant d’interpréter l’écart
Vérifiez que les groupes prévus ont été constitués correctement. Recherchez un envoi accidentel au témoin, une promotion reçue par un seul groupe ou un formulaire indisponible pendant une partie de la période.
Contrôlez aussi la définition du résultat. Une réservation annulée compte-t-elle ? Plusieurs commandes d’une personne deviennent-elles plusieurs conversions ? Il n’existe pas de réponse unique, mais la règle doit être stable et cohérente avec la question.
Ne corrigez pas le test en retirant après coup les observations gênantes. Expliquez l’incident et son effet possible. Certaines erreurs imposent de recommencer.
Adapter l’effort à la taille de son activité
Une petite liste peut ne pas fournir assez d’événements pour distinguer des écarts modestes. Diviser systématiquement cette liste n’est pas forcément le meilleur usage de l’attention des abonnés.
Dans ce cas, travaillez d’abord sur les questions qualitatives : les personnes comprennent-elles l’offre ? Le formulaire fonctionne-t-il ? Quelles informations manquent pour décider ? Ces vérifications peuvent conduire à des améliorations sans prétendre isoler statistiquement un effet.
Lorsque le volume et la mesure le permettent, documentez le test jusqu’à sa décision finale. Gardez ensemble le protocole, les agrégats, les incidents et la conclusion. Vous construirez une mémoire utile, y compris lorsque la réponse reste incertaine.