Automatizace - A/B testování

Co v této nápovědě naleznete?

A/B testování v automatizaci

A/B testování (někdy nazýváno také jako "split test") je nástroj k porovnání míry úspěšnosti dvou či více podobných kampaní, které se mohou lišit například jen v názvu předmětu, přičemž vy si volíte, kolik procent kontaktů ze seznamu má být k testování určeno a porovná se tak úspěšnost různých verzí vaší kampaně. Testovat můžete např. předmět, preheader, jméno odesílatele nebo různé varianty obsahu. Nejčastěji se však testují dvě verze předmětu.

VARIANTA 1

Máte možnost otestovat variantu v poměru na 2 části, kdy bude vybrané publikum rozděleno a následně sledujete výsledky. Nejčastěji se používá varianta 50/50, kdy je publikum rozděleno na 2 stejné poloviny. Příště se podíváte na vítěznou variantu a zkusíte porovnat s variantou novou, kdy publikum opět rozdělíte v poměru 50/50. Vždy tak máte k dispozici nejlepší verzi, kterou porovnáváte s verzí nově vytvořenou.

Záměr: Poučení se pro příští kampaň.

VARIANTA 2

Další používanou variantou je 2x malý poměr a zbylé kontakty čekají. Na netestované procento kontaktů následně můžete odeslat vítěznou variantu kampaně. Obvykle se dělí na 10% – 1. možnost, 10% – 2. možnost a 80% čeká. Data v odkladišti uchováváme po dobu 90 dní od vstupu kontaktu do uzlu, po uplynutí této doby kontakt projde uzlem a opustí scénář.

U malých databází čísla obvykle vychází shodně, proto se tato varianta doporučuje až u větších databází 10 tisíc a více. V tomto případě jsou pak výsledky vypovídající.

Záměr: Odeslat na zbylou část databáze vítěznou variantu.

Tvorba scénáře A/B testu

Nejprve v automatizaci zvolíme Trigger dle potřeby (Hned teď, Při události, atd.), doplníme podmínku, která vyfiltruje relevantní kontakty a následně napojíme Operátor "A/B Test".

Trigger "Hned teď" se nijak uvnitř nenastavuje, jediné, co můžeme změnit, je název.

Dále si vybereme uzel Operátor "A/B Test". Ten si můžeme pojmenovat pod záložkou Název uzlu.

Následně uvnitř vidíme varianty, které lze porovnávat. Variant může být ještě více, ani 10/10/80 nemusí být finální.

V úvodu je potřeba si vybrat kampaně, které chceme otestovat. Můžeme kombinovat i e-maily se SMS. Zadáme si velikost vzorku v %, která určuje, jak velký díl ze seznamu má být rozdělen a použit k testu. Vyhodnocení doporučujeme nedělat ihned, ale až několik hodin či dní po spuštění.

Při odeslání e-mailu je třeba vyplnit nastavení:

e-mail (vybrat z rolovátka, který e-mail budeme odesílat)
odesilatele (jméno, e-mail odesilatele a e-mail pro příjem e-mailů. E-maily je třeba mít doménové)
tracking (sledování statistiky odkazů nebo připojit a přepsat UTM parametry pro sledování výsledků v Google analytics)
pokročilé ( použít vlastní odhlašovací stránku, přidat do e-mailu vlastní hlavičky, posílat jen na kontrolní adresu
název (opět si můžeme vytvořit název uzlu)

Při odeslání SMS je třeba vyplnit nastavení:

SMS (vybrat z rolovátka, kterou SMS budete odesílat)
pokud jsme si objednali SMS identitu, vybereme ji právě v záložce SMS v automatizaci.
název (opět si můžeme vytvořit název uzlu)

Chceme-li např. testovat 2 varianty kampaní kvůli odesílce na seznam o 100 kontaktech, nastavíme 50 % e-mail 1 a 50 % e-mail 2.

Chceme-li testovat 2 varianty, můžeme také v jiném poměru, např. 30 % a 70 %, opět se jedná pouze o porovnání bez odeslání třetí varianty.

Dokonce můžeme porovnat variantu e-mailu a SMS kampaně:

Z těchto variant se tedy můžeme pro příště inspirovat. A máme hotovo. Ke statistice doodeslané kampaně (tato statistika zahrnuje pouze doodeslané kontakty) se také dostaneme po kliku na ikonku statistiky na úrovni dokončeného A/B testu.

Statistiky následně nalezneme na horní liště:

Pokud používáme volbu více variant, jakmile máme počet požadovaných variant definovaný a zadáváme jednotlivá procenta, poslední skupina se dopočítá automaticky tak, aby dal celek dohromady 100 %.

Dejme tomu, že máme dvě verze kampaně, ale nemůžeme se rozhodnout, kterou z nich zaslat zákazníkům, aby byl open rate co nejvyšší. Rozhodneme se tedy otestovat obě verze na celkovém vzorku 20 %, přičemž vítěznou variantu dopošlete na zbývajících 80 % klientů. Rozdělení tedy bude 10 % varianta 1, 10 % varianta 2 a 80 % vítězná varianta.

Pokud se na testovaných 20 % napojí e-mail, zbylých 80 % kontaktů by po spuštění kampaně vypadlo ze scénáře ven. Proto je doporučujeme uchovat v ODKLADIŠTI, které až následně napojíme na vítěznou variantu. Nepřijde také žádná zpráva, která by nám dala vědět, jak test dopadl. Je třeba sledovat statistiky v horní liště. Vítězná varianta se neodešle automaticky, je třeba ji odeslat ručně, protože kontakty stále čekají v odkladišti, dokud je neuvolníte (maximálně však 90 dní).

Plně automatické A/B testování, které po spuštění již nepotřebuje jakýkoliv zásah uživatele, je popsáno ZDE.

Máme 2 možnosti ručního odeslání. Jakmile usoudíme, že je čas odeslat výslednou kampaň, můžeme buď napojit kontakty z Odkladiště na jednu z variant, nebo vítěznou verzi napojit extra, kvůli statistikám každého uzlu zvlášť.

NAPOJENÍ NA VÍTĚZNOU VARIANTU

NAPOJENÍ VÍTĚZNÉ VARIANTY DO NOVÉHO UZLU

A máme hotovo. Ke statistice doodeslané kampaně (tato statistika zahrnuje pouze doodeslané kontakty) se také dostaneme po kliku na ikonku statistiky na úrovni dokončeného A/B testu.

Hledáte více inspirace? Stáhněte si náš online SmartBook s nejpoužívanějšími scénáři marketingových automatizací ZDE.