Incrementality testing geo experiment σε 7 βήματα

Το incrementality testing με geo experiment μετράει πόσες πωλήσεις φέρνει πραγματικά το ad spend, συγκρίνοντας περιοχές με και χωρίς διαφήμιση. Σε αυτόν τον οδηγό θα δεις πώς στήνεται σωστά ένα geo experiment σε 7 βήματα: σχεδιασμός, geo-matching, power analysis, εκτέλεση χωρίς contamination και υπολογισμός iROAS. Συχνά τα media teams βλέπουν υψηλό ROAS μέσα στο Meta Ads Manager ή το Google Ads, την ώρα που τα έσοδα της επιχείρησης μένουν στάσιμα. Τα διαφημιστικά dashboards πιστώνουν συστηματικά conversions που θα συνέβαιναν έτσι κι αλλιώς από πιστούς πελάτες ή οργανικό demand (το ίδιο πρόβλημα αναλύουμε στο GA4 data-driven attribution). Τα γεωγραφικά πειράματα είναι ο πιο αξιόπιστος τρόπος να μετρήσουμε την πραγματική αξία του ad spend.

TL;DR:

• Τα in-platform attribution models υπερεκτιμούν την απόδοση γιατί αγνοούν το baseline των οργανικών πωλήσεων.
• Ένα αξιόπιστο geo experiment απαιτεί historical matching, synthetic controls και αυστηρό power analysis πριν ξοδευτεί ούτε ένα ευρώ.
• Χωρίς operational freeze και σωστό location targeting στα ad networks, τα αποτελέσματα μολύνονται από geo contamination.

Πώς σχεδιάζουμε το holdout setup για incrementality testing

Πριν πειράξουμε οποιαδήποτε καμπάνια, πρέπει να ορίσουμε τη δομή του πειράματος. Στα projects μας ακολουθούμε συγκεκριμένα βήματα για να διασφαλίσουμε ότι το τελικό αποτέλεσμα θα είναι αξιόπιστο.

• Βήμα 1: Καθορίζουμε την υπόθεση και τον τύπο του test. Αποφασίζουμε αν θα τρέξουμε Holdout Test (συνεχίζουμε κανονικά παντού και κλείνουμε τη διαφήμιση σε συγκεκριμένες περιοχές) ή Scale Test (αυξάνουμε επιθετικά το budget σε test regions για να μετρήσουμε marginal returns). Ορίζουμε ως πρωτεύον KPI μόνο τα hard metrics: καθαρά έσοδα ή νέους πελάτες, ποτέ micro-conversions.
• Βήμα 2: Επιλέγουμε τη γεωγραφική κοκκοποίηση (Geo Granularity). Στην Ελλάδα και την Ευρώπη, το επίπεδο ταχυδρομικού κώδικα (postal code) σπάνια λειτουργεί αξιόπιστα στα ad networks λόγω περιορισμένου volume και κακού IP resolution. Δουλεύουμε σχεδόν πάντα σε επίπεδο περιφερειών (π.χ. NUTS-2 ή NUTS-3) ή επιλεγμένων νομών, εξασφαλίζοντας επαρκή όγκο συναλλαγών.

Αν δεν μπορείς να δεχτείς ότι το κανάλι σου ίσως παράγει μηδενικό incremental value σε συγκεκριμένα audiences, μην ξεκινήσεις καν το πείραμα.

Πώς κάνουμε geo-matching και power analysis για marketing attribution

Το μεγαλύτερο λάθος που συναντάμε είναι ο αυθαίρετος διαχωρισμός περιοχών (π.χ. «Αθήνα vs Θεσσαλονίκη»). Αυτό δεν είναι πείραμα, είναι τζόγος.

• Βήμα 3: Χτίζουμε το synthetic control group μέσω historical correlation. Συλλέγουμε historical sales data τουλάχιστον 12 έως 24 μηνών ανά γεωγραφική ζώνη από το analytics ή το backend της επιχείρησης. Χρησιμοποιούμε αλγορίθμους synthetic control (όπως το open-source πακέτο GeoLift της Meta ή CausalImpact) για να βρούμε έναν σταθμισμένο συνδυασμό περιοχών ελέγχου (control) που προβλέπει με ακρίβεια τη συμπεριφορά των περιοχών δοκιμής (treatment).
• Βήμα 4: Εκτελούμε Power Analysis και ορίζουμε το MDE. Υπολογίζουμε το Minimum Detectable Effect (MDE). Αν το μοντέλο μάς δείξει ότι χρειαζόμαστε lift +30% στις πωλήσεις για να εντοπίσουμε στατιστικά σημαντικό αποτέλεσμα με power 80%, αλλά η καμπάνια ρεαλιστικά στοχεύει σε lift +8%, το πείραμα θα αποτύχει. Σε αυτή την περίπτωση, αυξάνουμε τη διάρκεια του test (συνήθως 4 έως 8 εβδομάδες) ή μεγαλώνουμε το treatment group.

Πώς εκτελούμε το geo-experiment χωρίς contamination

Η εκτέλεση είναι το σημείο όπου τα περισσότερα geo experiments καταρρέουν λόγω εξωτερικών παραγόντων και κακού targeting.

• Βήμα 5: Τρέχουμε pre-test validation (A/A test). Πριν εφαρμόσουμε οποιαδήποτε αλλαγή στο ad spend, παρακολουθούμε τις επιλεγμένες περιοχές για 2 εβδομάδες σε κατάσταση ηρεμίας. Το synthetic control πρέπει να προβλέπει με απόλυτη συνέπεια το treatment group. Αν δούμε απόκλιση πριν καν αρχίσει το test, επανασχεδιάζουμε τα clusters.
• Βήμα 6: Εξαλείφουμε το geo contamination και επιβάλλουμε operational freeze. Στα ad platforms επιλέγουμε αυστηρά «People living in this location» και όχι «People in or recently in this location». Παράλληλα, εξασφαλίζουμε ότι κατά τη διάρκεια του τεστ δεν θα τρέξουν απροειδοποίητες ενέργειες: καμία αλλαγή στο pricing, καμία νέα τηλεοπτική καμπάνια, κανένα γενικό email blast χωρίς geo-segmentation και καμία νέα δοκιμή CRO που μπορεί να αλλοιώσει τη συμπεριφορά του traffic.

Πώς υπολογίζουμε το incremental ROAS και το conversion lift

• Βήμα 7: Εξάγουμε το incremental lift και κάνουμε calibrate τα ad platforms. Μετά την ολοκλήρωση της δοκιμής (και αφού αφήσουμε 7-10 ημέρες cool-down period για delayed conversions), συγκρίνουμε τις πραγματικές πωλήσεις του treatment group με την πρόβλεψη του synthetic control.

Υπολογίζουμε τα βασικά business metrics:

• Incremental Sales: Πραγματικές πωλήσεις Treatment μείον τις προβλεπόμενες πωλήσεις του Control.
• Incremental ROAS (iROAS): Incremental Sales διά το επιπλέον ad spend που δαπανήθηκε.
• iCPA: Ad spend διά τα incremental conversions.

Στη συνέχεια, περνάμε τα ευρήματα στα reporting dashboards μας και διορθώνουμε τους στόχους στόχευσης. Αν το Meta δηλώνει ROAS 4.0 αλλά το iROAS είναι 1.5, ρυθμίζουμε τα bid targets με βάση την πραγματικότητα και όχι τις εκτιμήσεις του αλγορίθμου. Τα ίδια αποτελέσματα χρησιμεύουν και για calibration ενός MMM· δες το checklist για marketing mix modeling audit.

Συχνές ερωτήσεις

Πόση διάρκεια πρέπει να έχει ένα geo experiment;

Ένα αξιόπιστο geo experiment διαρκεί συνήθως από 3 έως 6 εβδομάδες, ανάλογα με τον κύκλο αγοράς του προϊόντος. Χρειάζεσαι τουλάχιστον 2 εβδομάδες pre-test, 3-4 εβδομάδες καθαρής δοκιμής και μερικές ημέρες cool-down για να καταγραφούν τα conversion lag effects.

Γιατί να μην κάνουμε απλό user-level split testing (Holdouts);

Τα user-level holdouts βασίζονται σε cookies και device IDs, τα οποία υποφέρουν από tracking restrictions, browser privacy και cross-device loss. Τα geo experiments μετρούν aggregate transactions σε επίπεδο backend, παρακάμπτοντας εντελώς τα προβλήματα του client-side tracking.

Ποιο είναι το ελάχιστο budget για να τρέξει ένα incrementality test;

Δεν υπάρχει σταθερό χρηματικό όριο, αλλά απαιτείται επαρκής όγκος συναλλαγών σε κάθε geo cell, ώστε το power analysis να δείχνει ότι το αναμενόμενο lift είναι ανιχνεύσιμο. Αν ο όγκος είναι χαμηλός, το statistical noise θα καλύψει το incremental lift και το αποτέλεσμα θα είναι inconclusive.

Τα geo experiments δεν είναι εύκολη υπόθεση και απαιτούν αυστηρή πειθαρχία από όλη την ομάδα marketing. Είναι όμως ο πιο αξιόπιστος τρόπος να σταματήσουμε να πληρώνουμε για πωλήσεις που θα γίνονταν έτσι κι αλλιώς. Αν θέλεις να σχεδιάσουμε μαζί το πρώτο σου test, δες την υπηρεσία measurement strategy και web analytics consulting.