Automatizace - A/B testování (plně automatické)

A/B testování (někdy nazýváno také jako "split test") je nástroj k porovnání míry úspěšnosti dvou či více podobných kampaní, které se mohou lišit například jen v názvu předmětu, přičemž vy si volíte, kolik procent kontaktů ze seznamu má být k testování určeno a porovná se tak úspěšnost různých verzí vaší kampaně. Testovat můžete např. předmět, preheader, jméno odesílatele nebo různé varianty obsahu. Nejčastěji se však testují dvě verze předmětu.

Zatímco u "klasického" A/B testování, které si můžete vytvořit dle této nápovědy, zůstává konečné rozhodnutí o rozesílce na straně uživatele, lze vytvořit také A/B testování, které na základě vyhodnocení zrealizuje rozesílku plně automaticky. Tedy bez potřeby potvrzení či jakéhokoliv jiného uživatelského zásahu.

První část scénáře vypadá u obou A/B testů stejně. Opět jako první uzel zvolíme Trigger dle potřeby (Hned teď, Při události, atd.), doplníme podmínku, která vyfiltruje relevantní kontakty (například s ohledem na seznam kontaktů, ve kterém se nachází) a následně napojíme Operátor "A/B Test".

V našem příkladu je použit Trigger "Hned teď", který ihned po spuštění scénáře vezme všechny aktivní kontakty v databázi a pošle je dále do scénáře. Pokud chceme rozesílku realizovat pouze na kontakty, které jsou v konkrétním seznamu (v našem příkladu je to seznam "A/B testování"), následuje Operátor "Podmínka" a teprve pak samotný uzel pro A/B testování.

Nastavení uzlu pro A/B testování jsme provedli v poměru 10/10/80. To znamená, že na 20 % kontaktů v seznamu bude zaslána rozesílka – na 10 % jedna verze kampaně a na 10 % druhá verze kampaně, jejíž varianty porovnáváme. Zbylých 80 % kontaktů pak obdrží úspěšnější (vítěznou) kampaň.

Nastavení uzlu vypadá takto:

V dalším kroku je potřeba určit, jaké kampaně se budou porovnávat. Je pouze na vás, zda se tyto kampaně budou lišit v předmětu, preheaderu nebo jiném parametru či jejich kombinaci.

Tím máme nastavenu rozesílku na zmíněných 20 % kontaktů z daného seznamu a zároveň nastaveny kampaně, které se budou porovnávat. V další části tedy nastavíme dobu, po kterou budou zbývající kontakty čekat na vyhodnocení úspěšnosti obou kampaní. V tomto směru využijeme uzel Operátor "Čekání".

Po uplynutí tohoto časového limitu provedeme vyhodnocení úspěšnosti obou kampaní a zároveň vybereme tu úspěšnější, která bude rozeslána na zbylých 80 % kontaktů v seznamu. V prvním kroku je potřeba určit statistickou významnost. Tedy zda rozdíl mezi výsledky je skutečně dostatečně velký k tomu, abychom dokázali říci, která z kampaní je lepší. K tomu slouží opět Operátor "Podmínka", konkrétně "Rozdíl ve výsledcích e-mailů je statisticky významný".

Porovnávat lze:

1) Míru otevření - za vítězný e-mail je považován ten, který dosáhl vyšší míry otevření.

2) Míru prokliku - za vítězný e-mail je považován ten, který dosáhl vyšší míry prokliku (CTR).

Mohou tedy nastat 2 varianty:

1) Rozdíl je statisticky významný

Pokud je rozdíl statisticky významný, vybereme pomocí dalšího uzlu Podmínka úspěšnější kampaň a tu rozešleme na zbylé kontakty. Konkrétně se jedná o podmínku "E-mail A má lepší výsledky než e-mail B". Nastavíme také metriku shodnou s tím, co jsme vyhodnocovali (v našem příkladu je to "Míra otevření").

Ve scénáři to tedy bude vypadat následovně:

2) Rozdíl není statisticky významný

Pokud jsou výsledky natolik podobné, že nelze s určitostí říci, která kampaň je lepší, pak je ideálním řešením rozeslat na zbývající kontakty obě, ve stejném poměru, tedy 50 % a 50 %. Použijeme k tomu uzel Operátor "A/B test", díky kterému rozdělíme zbývajících 80 % kontaktů na dvě poloviny.

Hledáte více inspirace? Stáhněte si náš online SmartBook s nejpoužívanějšími scénáři marketingových automatizací ZDE.