Incrementality testing geo experiment σε 7 βήματα

Βλέπουμε καθημερινά media buyers να πανηγυρίζουν για 4x και 5x ROAS μέσα στο Meta Ads Manager ή το Google Ads, την ώρα που ο τραπεζικός λογαριασμός της επιχείρησης μένει στάσιμος. Τα διαφημιστικά dashboards πιστώνουν συστηματικά conversions που θα συνέβαιναν έτσι κι αλλιώς από πιστούς πελάτες ή οργανικό demand. Η μόνη μέθοδος για να αποδείξουμε την πραγματική αξία του ad spend είναι τα γεωγραφικά πειράματα.

TL;DR:

• Τα in-platform attribution models υπερεκτιμούν την απόδοση γιατί αγνοούν το baseline των οργανικών πωλήσεων.
• Ένα αξιόπιστο geo experiment απαιτεί historical matching, synthetic controls και αυστηρό power analysis πριν ξοδευτεί ούτε ένα ευρώ.
• Χωρίς operational freeze και σωστό location targeting στα ad networks, τα αποτελέσματα μολύνονται από geo contamination.

Πώς σχεδιάζουμε το holdout setup για incrementality testing

Πριν πειράξουμε οποιαδήποτε καμπάνια, πρέπει να ορίσουμε τη δομή του πειράματος. Στα projects μας ακολουθούμε συγκεκριμένα βήματα για να διασφαλίσουμε ότι το τελικό αποτέλεσμα δεν θα αμφισβητηθεί από κανέναν.

• Βήμα 1: Καθορίζουμε την υπόθεση και τον τύπο του test. Αποφασίζουμε αν θα τρέξουμε Holdout Test (συνεχίζουμε κανονικά παντού και κλείνουμε τη διαφήμιση σε συγκεκριμένες περιοχές) ή Scale Test (αυξάνουμε επιθετικά το budget σε test regions για να μετρήσουμε marginal returns). Ορίζουμε ως πρωτεύον KPI μόνο τα hard metrics: καθαρά έσοδα ή νέους πελάτες, ποτέ micro-conversions.
• Βήμα 2: Επιλέγουμε τη γεωγραφική κοκκοποίηση (Geo Granularity). Στην Ελλάδα και την Ευρώπη, το επίπεδο ταχυδρομικού κώδικα (postal code) σπάνια λειτουργεί αξιόπιστα στα ad networks λόγω περιορισμένου volume και κακού IP resolution. Δουλεύουμε σχεδόν πάντα σε επίπεδο περιφερειών (π.χ. NUTS-2 ή NUTS-3) ή επιλεγμένων νομών, εξασφαλίζοντας επαρκή όγκο συναλλαγών.

Αν δεν μπορείς να δεχτείς ότι το κανάλι σου ίσως παράγει μηδενικό incremental value σε συγκεκριμένα audiences, μην ξεκινήσεις καν το πείραμα.

Πώς κάνουμε geo-matching και power analysis για marketing attribution

Το μεγαλύτερο λάθος που συναντάμε είναι ο αυθαίρετος διαχωρισμός περιοχών (π.χ. «Αθήνα vs Θεσσαλονίκη»). Αυτό δεν είναι πείραμα, είναι τζόγος.

• Βήμα 3: Χτίζουμε το synthetic control group μέσω historical correlation. Συλλέγουμε historical sales data τουλάχιστον 12 έως 24 μηνών ανά γεωγραφική ζώνη μέσα από το δικό μας σύστημα analytics. Χρησιμοποιούμε αλγορίθμους synthetic control (όπως το open-source πακέτο GeoLift της Meta ή CausalImpact) για να βρούμε έναν σταθμισμένο συνδυασμό περιοχών ελέγχου (control) που προβλέπει με ακρίβεια τη συμπεριφορά των περιοχών δοκιμής (treatment).
• Βήμα 4: Εκτελούμε Power Analysis και ορίζουμε το MDE. Υπολογίζουμε το Minimum Detectable Effect (MDE). Αν το μοντέλο μάς δείξει ότι χρειαζόμαστε lift +30% στις πωλήσεις για να εντοπίσουμε στατιστικά σημαντικό αποτέλεσμα με power 80%, αλλά η καμπάνια ρεαλιστικά στοχεύει σε lift +8%, το πείραμα θα αποτύχει. Σε αυτή την περίπτωση, αυξάνουμε τη διάρκεια του test (συνήθως 4 έως 8 εβδομάδες) ή μεγαλώνουμε το treatment group.

Πώς εκτελούμε το geo-experiment χωρίς contamination

Η εκτέλεση είναι το σημείο όπου τα περισσότερα geo experiments καταρρέουν λόγω εξωτερικών παραγόντων και κακού targeting.

• Βήμα 5: Τρέχουμε pre-test validation (A/A test). Πριν εφαρμόσουμε οποιαδήποτε αλλαγή στο ad spend, παρακολουθούμε τις επιλεγμένες περιοχές για 2 εβδομάδες σε κατάσταση ηρεμίας. Το synthetic control πρέπει να προβλέπει με απόλυτη συνέπεια το treatment group. Αν δούμε απόκλιση πριν καν αρχίσει το test, επανασχεδιάζουμε τα clusters.
• Βήμα 6: Εξαλείφουμε το geo contamination και επιβάλλουμε operational freeze. Στα ad platforms επιλέγουμε αυστηρά «People living in this location» και όχι «People in or recently in this location». Παράλληλα, εξασφαλίζουμε ότι κατά τη διάρκεια του τεστ δεν θα τρέξουν απροειδοποίητες ενέργειες: καμία αλλαγή στο pricing, καμία νέα τηλεοπτική καμπάνια, κανένα γενικό email blast χωρίς geo-segmentation και καμία παρέμβαση με νέες δοκιμές σε επίπεδο CRO που μπορεί να αλλοιώσει τη συμπεριφορά του traffic.

Πώς υπολογίζουμε το incremental ROAS και το conversion lift

• Βήμα 7: Εξάγουμε το incremental lift και κάνουμε calibrate τα ad platforms. Μετά την ολοκλήρωση της δοκιμής (και αφού αφήσουμε 7-10 ημέρες cool-down period για delayed conversions), συγκρίνουμε τις πραγματικές πωλήσεις του treatment group με την πρόβλεψη του synthetic control.

Υπολογίζουμε τα βασικά business metrics:

• Incremental Sales: Πραγματικές πωλήσεις Treatment μείον τις προβλεπόμενες πωλήσεις του Control.
• Incremental ROAS (iROAS): Incremental Sales διά το επιπλέον ad spend που δαπανήθηκε.
• iCPA: Ad spend διά τις incremental μετατροπές.

Στη συνέχεια, περνάμε τα ευρήματα στα reporting dashboards μας και διορθώνουμε τους στόχους στόχευσης. Αν το Meta δηλώνει ROAS 4.0 αλλά το iROAS είναι 1.5, ρυθμίζουμε τα bid targets με βάση την πραγματικότητα και όχι τις εκτιμήσεις του αλγορίθμου.

Συχνές ερωτήσεις

Πόση διάρκεια πρέπει να έχει ένα geo experiment;

Ένα αξιόπιστο geo experiment διαρκεί συνήθως από 3 έως 6 εβδομάδες, ανάλογα με τον κύκλο αγοράς του προϊόντος. Χρειάζεσαι τουλάχιστον 2 εβδομάδες pre-test, 3-4 εβδομάδες καθαρής δοκιμής και μερικές ημέρες cool-down για να καταγραφούν τα conversion lag effects.

Γιατί να μην κάνουμε απλό user-level split testing (Holdouts);

Τα user-level holdouts βασίζονται σε cookies και device IDs, τα οποία υποφέρουν από tracking restrictions, browser privacy και cross-device loss. Τα geo experiments μετρούν aggregate transactions σε επίπεδο backend, παρακάμπτοντας εντελώς τα προβλήματα του client-side tracking.

Ποιο είναι το ελάχιστο budget για να τρέξει ένα incrementality test;

Δεν υπάρχει σταθερό χρηματικό όριο, αλλά απαιτείται επαρκής όγκος συναλλαγών (συνήθως τουλάχιστον 100-200 conversions ανά εβδομάδα σε κάθε geo cell). Αν ο όγκος είναι χαμηλός, το statistical noise θα καλύψει το incremental lift και το αποτέλεσμα θα είναι inconclusive.

Τα geo experiments δεν είναι εύκολη υπόθεση και απαιτούν αυστηρή πειθαρχία από όλη την ομάδα marketing. Είναι όμως ο μόνος επιστημονικός τρόπος να σταματήσουμε να πληρώνουμε για πωλήσεις που θα είχαμε κερδίσει δωρεάν.