Hello Hive, it’s been a while since I last took the time to write here, and I’m glad I finally can today. Here’s what I’ve been working on this afternoon.
Over the past few weeks, as part of a freelance project, I’ve been diving deep into the world of CRO (Conversion Rate Optimization). Since I own several personal websites, I use them as perfect laboratories to test my ideas.
Quick Reminder on CRO
CRO is simply the art of increasing the percentage of people who perform a desired action on a site (buying, signing up, clicking…). In practice, this usually involves A/B testing, where you compare a current version (the control) with a new version (the variant) to see which performs best.
Defining My Test
1. Everything Starts with a Good Question
Before launching any test, you always need to start by formulating a clear hypothesis:
Which article design will generate the most revenue by increasing reading engagement (time spent, scroll depth) and clicks on my monetized links (affiliate, ebooks, ads)?
Why this question? Because on this site, more than 90% of the traffic is concentrated on blog articles. And every article includes affiliate links, ebook blocks, ads, and sometimes a newsletter form. If readers engage more with the content, they’re more likely to see and interact with these elements.
This isn’t necessarily the most impactful optimization to run in a CRO context. But since it’s work I’d been meaning to do for a while, I figured it was interesting to frame it this way.
2. Next Come the Variables and KPIs
I plan to run an A/B test comparing the current version with a new one to see which template performs better. In CRO terms, we talk about variables:
- Variable A (control): the current article template.
- Variable B (treatment): a redesigned template aimed at improving the reading experience.
Primary KPI: number of sessions where users reach 90% scroll depth (GA4).
Secondary KPIs:
- click-through rate on internal links,
- clicks on affiliate links.
3. Duration and Statistical Power
Over the last 7 days, my site logged 1,597 sessions. Among them, 180 reached 90% scroll depth, which is a conversion rate of 11.27%.
With 2 variants, a 95% confidence level (accepting a 5% false positive rate), and 80% statistical power (probability of detecting a real effect), I calculated the Minimum Detectable Effect (MDE):
- 1 week: I can only detect differences greater than +39%.
- 2 weeks: +21.6%.
- 6 weeks: +15%.
👉 Conclusion: with my current traffic, it’s impossible to prove a small gain (+5% or +8%). If my new design brings only a modest improvement, the test will remain inconclusive. But a larger effect (+15% or more) could be validated after 6 weeks.
To get to this conclusion, I used this tool: https://speero.com/ab-test-calculator
It’s risky, but I’m going for it.
Practical Setup
1. Enabling A/B Testing in Divi
I use Divi as a WordPress builder on this site. In the article template, I simply activate A/B testing.
I then create two article header variants:
- version A (current) shown as the first yellow section,
- version B (new design, with date, category, title, image, author, etc.) shown as the second yellow section.
2. Tracking with Google Tag Manager
I add a small script in each header to push to the dataLayer:
dataLayer.push({
event: "variant_view",
variant: "header_A"
});
(and "header_B" for the second variant).
Then, in Google Tag Manager (GTM):
-
I create a custom trigger that fires whenever the "variant_view" event is pushed,
-
I link this trigger to a GA4 – Event – Variant View tag,
-
and that tag sends the ‘variant’ parameter to GA4 (via a data layer variable ‘DLV – variant’).
3. Using the Data in GA4
Finally, in GA4, I create a custom dimension:
- Name: "Article Header Variant",
- Scope: Event,
- Event parameter: "variant".
This way, I’ll be able to analyze in Explorations whether "header_A" or "header_B" generates more 90% scrolls, more affiliate clicks, or more interactions in general.
Now I have a working setup:
- two article variants built in Divi,
- precise tracking via GTM,
- actionable data in GA4.
My test will run for at least 6 weeks. I’ll wait to see whether the new design makes a real difference, or if visitors simply don’t care.
Either way, it will be insightful: I’ll either validate a better design, or confirm that my readers don’t mind the header design and that I should focus my efforts elsewhere (content, call-to-actions, offers…).
A next challenge that could be more interesting: using CRO to optimize the click-through rate on affiliate links.
Version Française
Bonjour Hive, ça faisait longtemps que je n’avais pas pris le temps d’écrire ici, et je suis ravi de pouvoir le faire aujourd’hui. Voici ce sur quoi j'ai travaillé cette après-midi.
Ces dernières semaines, dans le cadre d’une mission freelance, je me suis plongé dans l’univers de la CRO (Conversion Rate Optimization). Et comme j’ai plusieurs sites perso, je les utilise comme laboratoires pour tester mes idées.
Petit rappel sur le CRO
Le CRO, c’est tout simplement l’art d’augmenter le pourcentage de personnes qui effectuent une action voulue sur un site (acheter, s’inscrire, cliquer...). En pratique, ça passe par des tests A/B, où l’on compare une version actuelle (le contrôle) avec une nouvelle version (la variante) pour voir laquelle performe le mieux.
Définition de mon test
1. Tout commence par une bonne question
Avant de lancer un test, il faut toujours commencer par formuler une hypothèse claire :
Quel design d’article générera le plus de revenus en augmentant l’engagement de lecture (temps passé, scroll) et les clics sur mes liens monétisés (affiliation, ebooks, pubs) ?
Pourquoi cette question ? Parce que sur ce site, plus de 90 % du trafic est concentré sur les articles. Et chaque article contient des liens d’affiliation, des encarts pour des ebooks, des pubs et parfois un formulaire newsletter. Si les visiteurs s’engagent davantage dans la lecture, ils sont plus susceptibles de voir et d’interagir avec ces éléments.
Ce n'est pas la meilleure optimisation à faire dans un cadre CRO. Mais puisque c'est un travail que je devais faire depuis longtemps, je me suis dis qu'il serait intéressant de le faire passer sous cette forme.
2. Viennent ensuite les variables et KPIs
Je prévois de passer par un test A/B afin de comparer la version actuelle avec la nouvelle version pour voir quel template fonctionne le mieux. En CRO, on parle de variables :
- Variable A (contrôle) : le template actuel des articles.
- Variable B (traitement) : un nouveau template repensé pour améliorer l’expérience de lecture.
KPI principal : le nombre de sessions où les utilisateurs atteignent 90 % de scroll (GA4).
KPIs secondaires : * taux de clics sur les liens internes, * clics sur les liens d’affiliation.
3. Durée et puissance statistique
Sur les 7 derniers jours, mon site a enregistré 1 597 sessions. Parmi elles, 180 ont atteint 90 % de scroll, soit un taux de conversion de 11,27 %.
Avec 2 variantes, un niveau de confiance de 95 % (5 % de faux positif accepté) et une puissance statistique de 80 % (probabilité de détecter un effet réel), j’ai calculé le Minimum Detectable Effect (MDE) :
- 1 semaine : je ne détecterai que des écarts supérieurs à +39 %.
- 2 semaines : +21,6 %.
- 6 semaines : +15 %.
👉 Conclusion : avec mon trafic actuel, il est impossible de prouver un petit gain (+5 % ou +8 %). Si mon nouveau design apporte une amélioration modeste, le test restera inconclusif. Mais un gros écart (+15 % ou plus) pourra être validé après 6 semaines.
Pour en venir à cette conclusion, j'ai utilisé cet outil : https://speero.com/ab-test-calculator
C’est risqué, mais je tente l’expérience.
Mise en place pratique
1. Activation du test A/B dans Divi
J’utilise Divi comme builder WordPress sur ce site. Dans le template d’article, j’active simplement l’A/B testing.
Je crée ensuite deux variantes de header d’article :
- la version A (actuelle) représentée par la première section jaune,
- la version B (nouveau design, avec date, catégorie, titre, image, auteur, etc.) représentée par la seconde section jaune.
2. Tracking avec Google Tag Manager
J’ajoute un petit script dans chaque header pour pousser dans le dataLayer :
dataLayer.push({
event: "variant_view",
variant: "header_A"
});
(et "header_B" pour la seconde variante).
Ensuite, côté Google Tag Manager (GTM) :
-
je crée un déclencheur personnalisé qui s’active à chaque fois que l’événement "variant_view" est poussé,
-
je relie ce déclencheur à une balise GA4 – Event – Variant View,
-
et cette balise envoie à GA4 le paramètre 'variant' (via une variable de couche de données 'DLV – variant').
3. Exploitation dans GA4
Enfin, dans GA4, je déclare une dimension personnalisée :
- Nom : "Article Header Variant",
- Portée : Événement,
- Paramètre d’événement : "variant".
De cette façon, je pourrai analyser dans Explorations si "header_A" ou "header_B" génère plus de scroll à 90 %, plus de clics affiliés ou plus d’interactions en général.
J’ai maintenant un setup fonctionnel :
- deux variantes d’articles générées avec Divi,
- un tracking précis via GTM,
- des données exploitables dans GA4.
Mon test va tourner au moins 6 semaines. J’attends de voir si le nouveau design produit une vraie différence ou si les visiteurs restent insensibles.
Quoi qu’il en soit, ce sera instructif : soit je valide un meilleur design, soit je confirme que mes lecteurs se moquent de l’habillage du header et que je dois concentrer mes efforts ailleurs (contenu, call-to-actions, offres...).
Un prochain défi qui pourrait être plus intéressant : utiliser CRO pour optimiser le taux de clics sur les liens affiliés.
The English translation was done using the DeepL API, images are screenshots, and the first two were generated with Gemini.