NouveauLe guide : 11 exemples de paywall

7 minutes

Analyse de cohorte : comment savoir si votre nouveau paywall rapporte plus à J30 ?

Un paywall peut générer plus d’abonnés et moins de revenu. Voici comment construire une comparaison à J30, du choix de la cohorte à la décision.

Clément Parot

Analyse de cohorte : comment savoir si votre nouveau paywall rapporte plus à J30 ?

Résumé de l'article

  • Une cohorte regroupe des utilisateurs qui partagent un point de départ. Pour comparer deux paywalls à J30, chaque utilisateur doit avoir le même recul.
  • Calculez le revenu cumulé après remboursements et divisez-le par tous les utilisateurs affectés à chaque variante, y compris ceux qui ne paient jamais.
  • Dans l’exemple fictif, le nouveau paywall passe de 8 % à 9 % de conversion payante, mais le revenu par utilisateur baisse de 0,96 € à 0,81 €, soit −15,6 %.
  • Avant de déployer, vérifiez les formules achetées, les renouvellements, les remboursements et l’incertitude autour de l’écart de revenu.

Résumer l'article avec

Votre nouveau paywall convertit mieux. Sur 1 000 utilisateurs, il génère 90 abonnés payants, contre 80 pour l’ancien. Vous le déployez ?

Dans l’exemple de cet article, l’ancien paywall génère 960 € à J30. Le nouveau en génère 810 €. Il fait 10 abonnés de plus et rapporte 150 € de moins. Pour comprendre ce qui s’est passé, il faut comparer les mêmes populations au même âge et regarder ce que chaque utilisateur a réellement rapporté.

1. Qu’est-ce qu’une cohorte ?

Une cohorte est un groupe d’utilisateurs qui partagent un point de départ. Pour votre app, ce peut être la première ouverture, le démarrage d’un essai ou l’affectation à une variante de paywall.

L’intérêt est de comparer les utilisateurs au même moment de leur parcours. Si Léa rejoint le test lundi et Sami vendredi, vous observez leurs revenus jusqu’à leur propre J30. La date de fin est donc différente pour chacun. Vous pouvez ensuite regrouper leurs résultats pour calculer une moyenne.

Une cohorte suit une population dans le temps. Le test A/B sert à estimer l’effet du changement. Si vous comparez simplement les utilisateurs de septembre et d’octobre, une nouvelle campagne, un changement de prix ou une évolution du mix iOS et Android peuvent aussi expliquer l’écart. En répartissant aléatoirement les utilisateurs entre deux variantes sur la même période, vous réduisez ce problème.

Newsletter

Une fois par semaine.

La dernière envoyée

On a ouvert 10 apps pour voir comment elles nous vendent un abonnement.

+534 personnes nous lisent chaque semaine

2. Choisissez le bon point de départ pour votre test

Si vous changez le moment où le paywall apparaît, affectez les utilisateurs dès leur première ouverture ou à une étape commune avant que les parcours divergent. Gardez tous les utilisateurs affectés dans le calcul, y compris ceux qui ne voient jamais le paywall. Sinon, vous risquez de masquer l’effet du changement sur la proportion d’utilisateurs qui atteignent l’offre.

Si vous changez uniquement l’offre sur le même écran, vous pouvez affecter les utilisateurs au moment où ils deviennent éligibles à cet écran, avant d’afficher A ou B. Le résultat répond alors à une question plus précise : quelle offre rapporte davantage parmi les utilisateurs arrivés à cette étape ?

Dans les deux cas, conservez une affectation stable par utilisateur et comptez chaque utilisateur une seule fois. Un utilisateur qui ouvre le paywall trois fois compte pour une personne. Un utilisateur affecté qui ne paie jamais contribue pour 0 €.

3. Calculez le revenu par utilisateur à J30

La formule tient en une ligne.

Revenu par utilisateur à J30 = revenu cumulé de la variante jusqu’à J30 ÷ nombre d’utilisateurs affectés à la variante.

Fixez la convention avant le test. Dans cet article, on compte les achats jusqu’à J30 inclus, moins les remboursements enregistrés sur la même fenêtre. On utilise des montants avant commissions et taxes, avec une devise commune. Si votre objectif est de mesurer ce que vous reverse le store, prenez les proceeds et appliquez la même définition aux deux variantes.

Voici un exemple fictif avec 1 000 utilisateurs affectés à chaque variante et une fenêtre J30 complète pour tous.

MétriqueA · Paywall actuelB · Nouveau paywall
Utilisateurs affectés1 0001 000
Utilisateurs ayant payé à J308090
Part des utilisateurs ayant payé8 %9 %
Revenu cumulé après remboursements960 €810 €
Revenu par utilisateur payant12 €9 €
Revenu par utilisateur affecté0,96 €0,81 €

Pour A, 960 € ÷ 1 000 = 0,96 €. Pour B, 810 € ÷ 1 000 = 0,81 €. L’écart est de −0,15 € par utilisateur, soit −15,6 % par rapport à A.

La conversion progresse d’un point, de 8 % à 9 %. En parallèle, le revenu par payeur baisse de 12 € à 9 €. La hausse du nombre de payeurs ne compense pas cette baisse. Si vous aviez regardé uniquement le taux de conversion, vous auriez retenu la variante qui rapporte le moins sur cette fenêtre.

4. Cherchez pourquoi le revenu a bougé

Décomposez le résultat en deux questions.

  1. Combien d’utilisateurs ont commencé à payer ? Remontez le parcours par variante. Regardez la part qui atteint le paywall, la part qui démarre un essai et la part qui effectue un premier paiement. Incluez les achats directs si certaines offres sont vendues sans essai.
  2. Combien ces utilisateurs ont-ils rapporté ? Regardez les formules achetées, les remises, les renouvellements et les remboursements. Une variante peut attirer davantage de payeurs vers une formule moins chère. Le tableau seul ne permet pas de savoir si c’est ce qui s’est passé.

Si l’écart apparaît uniquement sur iOS, dans un pays ou sur un canal d’acquisition, vérifiez le volume du segment avant d’en faire une décision. Un résultat découvert après avoir exploré plusieurs segments peut donner une bonne hypothèse pour le prochain test.

5. Attendez que les cohortes soient comparables

Imaginez que le test recrute du 1er au 14 octobre. Au 31 octobre, un utilisateur arrivé le 1er a atteint J30. Un utilisateur arrivé le 14 n’a que 17 jours de recul. Le dernier atteint J30 le 13 novembre. Pour un bilan de toute la population recrutée, attendez que cette dernière journée soit complète.

Si vous devez regarder avant, comparez les deux variantes à un horizon commun plus court, par exemple J7, et indiquez-le. Un essai de 14 jours peut donner un revenu nul à J7 par construction. Un abonnement annuel payé d’avance peut faire monter fortement le revenu à J30 alors que son renouvellement reste bien au-delà de la fenêtre. Choisissez votre horizon en fonction de l’offre et de la décision.

6. Reproduisez l’analyse dans vos outils

  • Dans PostHog ou Amplitude, vérifiez l’affectation à la variante, l’exposition au paywall et les étapes du funnel. Notez la date d’entrée, la variante et le nombre d’utilisateurs uniques.
  • Dans RevenueCat, si vous utilisez un test intégré, vérifiez la population incluse et les filtres avant de lire le revenu par client. Un filtre limité aux personnes qui ont vu le paywall change le dénominateur. Si vous passez par le graphique Realized LTV per Customer, vérifiez aussi le point de départ de la cohorte. RevenueCat s’appuie sur la première observation ou, dans certains cas, le premier achat. Cela peut différer de la date d’affectation à votre expérience.
  • Si vous rapprochez deux outils, reliez les événements à l’aide d’un identifiant utilisateur fiable. Vérifiez les doublons et les utilisateurs sans correspondance. Recalculez ensuite les deux revenus par utilisateur à partir des montants et des effectifs.

Sources : RevenueCat — Realized LTV per Customer et RevenueCat — résultats des expériences.

7. Prenez une décision à partir du revenu et de l’incertitude

Avant le lancement, fixez le gain minimal qui justifierait de changer le paywall, l’horizon de mesure et la règle d’arrêt. Ajoutez un indicateur à surveiller, comme le taux de remboursement. Au moment de décider, vérifiez que la répartition correspond au plan du test, que la mesure est complète et que l’incertitude autour de l’écart permet de trancher.

Dans notre exemple, je ne déploierais pas B sur la seule hausse de conversion. Je commencerais par vérifier le mix des offres et les remboursements, puis je regarderais si l’écart de revenu est suffisamment précis pour écarter un gain qui justifierait le déploiement. Le tableau montre un écart observé, mais il ne donne pas à lui seul l’incertitude autour de cet écart.

Pour votre prochain test, posez cette question avant même de dessiner le paywall : parmi tous les utilisateurs affectés, combien chaque variante doit-elle rapporter à J30 pour mériter d’être déployée ?

À lire aussi : comprendre le revenu par installation à J30 et la méthode firstapp pour structurer une expérimentation mobile.

Newsletter

Une fois par semaine.

La dernière envoyée

On a ouvert 10 apps pour voir comment elles nous vendent un abonnement.

+534 personnes nous lisent chaque semaine