Optimaalisesti älykkyyspilvi: Kuinka käyttää Stats Engineä A/B -testissä älykkäämmin ja nopeammin

Optimoi tilastojen moottori ja A/B -testausstrategiat

Jos haluat suorittaa kokeiluohjelman, joka auttaa yritystäsi testaamaan ja oppimaan, olet todennäköisesti käyttänyt sitä Optimizely Intelligence Cloud - tai olet ainakin katsonut sitä. Optimizely on yksi pelin tehokkaimmista työkaluista, mutta kuten mikä tahansa tällainen työkalu, saatat käyttää sitä väärin, jos et ymmärrä sen toimintaa. 

Mikä tekee Optimizelystä niin tehokkaan? Sen ominaisuusjoukon ytimessä on kolmannen osapuolen työkalun tietoisin ja intuitiivisin tilastomoottori, jonka avulla voit keskittyä enemmän tärkeiden testien suorittamiseen reaaliajassa ilman, että sinun tarvitsee huolehtia tulostesi tulkitsemisesta väärin. 

Aivan kuten perinteinen sokea tutkimus lääketieteessä, / B-testaus näyttää satunnaisesti eri hoidot sivustostasi eri käyttäjille, jotta voit verrata kunkin hoidon tehokkuutta. 

Tilastot auttavat meitä sitten tekemään johtopäätöksiä siitä, kuinka tehokas hoito voi olla pitkällä aikavälillä. 

Useimmat A/B -testaustyökalut tukeutuvat yhteen kahdesta tilastollisesta päätelmistä: Frequentist- tai Bayes -tilastot. Jokaisella koululla on useita hyviä ja huonoja puolia - Useimmat tilastot edellyttävät otoksen koon vahvistamista ennen kokeen suorittamista, ja Bayesin tilastot välittävät pääasiassa hyvistä suuntautuvista päätöksistä sen sijaan, että määritettäisiin yksittäinen vaikutusvaikutus. Optimizelyn suurvalta on se, että se on markkinoiden ainoa työkalu nykyään parhaat puolet lähestyä.

Lopputulos? Optimoinnin avulla käyttäjät voivat suorittaa kokeita nopeammin, luotettavammin ja intuitiivisemmin.

Jotta voit hyödyntää sitä täysimääräisesti, on kuitenkin tärkeää ymmärtää, mitä kulissien takana tapahtuu. Tässä on 5 oivallusta ja strategiaa, jotka auttavat sinua käyttämään Optimizelyn ominaisuuksia ammattilaisen tavoin.

Strategia #1: Ymmärrä, että kaikki mittarit eivät ole tasavertaisia

Useimmissa testaustyökaluissa yleisesti huomioitu ongelma on se, että mitä enemmän mittareita lisäät ja seuraat osana testiäsi, sitä todennäköisemmin näet virheellisiä johtopäätöksiä satunnaisen sattuman vuoksi (tilastoissa tätä kutsutaan "usean testauksen ongelmaksi" ”). Jotta tulokset pysyisivät luotettavina, Optimizely käyttää sarjaa säätöjä ja korjauksia pitääkseen todennäköisyydet mahdollisimman pieninä. 

Näillä säätimillä ja korjauksilla on kaksi vaikutusta, kun aloitat testien määrittämisen Optimizelyssä. Ensinnäkin määrittämäsi mittari Ensisijainen mittari saavuttaa tilastollisen merkitsevyyden nopeimmin, kaikki muut asiat pysyvät vakiona. Toiseksi, mitä enemmän mittareita lisäät kokeiluun, sitä kauemmin myöhemmillä tiedoillasi kestää tilastollisen merkityksen saavuttaminen.

Kun suunnittelet kokeilua, varmista, että tiedät, mikä mittari on todellinen pohjoispäätössi päätöksentekoprosessissa, ja tee siitä ensisijainen mittari. Pidä sitten loput mittariluettelosi laihana poistamalla kaikki tarpeeton tai tangentiaalinen.

Strategia #2: Luo omia mukautettuja ominaisuuksia

Optimizely tarjoaa erinomaisesti useita mielenkiintoisia ja hyödyllisiä tapoja segmentoida kokeilun tulokset. Voit esimerkiksi tutkia, toimivatko tietyt hoidot paremmin tietokoneella vai mobiililaitteella, tai havaita eroja liikenteen lähteiden välillä. Kokeiluohjelmasi kypsyessä kuitenkin toivot nopeasti uusia segmenttejä-ne voivat olla käyttötarkoitukseesi sopivia, kuten kertaluonteisten ja tilausostojen segmentit tai yleisiä "uudet vs. palaavat kävijät" (joka rehellisesti sanottuna emme vieläkään voi selvittää, miksi sitä ei toimiteta laatikosta).

Hyvä uutinen on, että Optimizelyn Project Javascript -kentän kautta Optimizelyyn perehtyneet insinöörit voivat rakentaa minkä tahansa määrän mielenkiintoisia mukautettuja määritteitä, joille kävijät voidaan määrittää ja joiden avulla ne voidaan segmentoida. Cro Metrics on rakentanut useita varastomoduuleja (kuten "uudet vs. palaavat vierailijat"), jotka asennamme kaikille asiakkaillemme heidän Project Javascriptin kautta. Tämän kyvyn hyödyntäminen on keskeinen ero kypsien joukkueiden välillä, joilla on oikeat tekniset resurssit auttaakseen heitä toteuttamaan, ja joukkueiden välillä, jotka kamppailevat kokeilun koko potentiaalin hyödyntämiseksi.

Strategia #3: Tutustu Optimizelyn tilastokiihdyttimeen

Yksi usein yliarvostettu testaustyökalun ominaisuus on kyky käyttää "monivarsisia rosvoja", eräänlaista koneoppimisalgoritmia, joka muuttaa dynaamisesti sitä, missä liikenne jaetaan kokeilun aikana, lähettääkseen mahdollisimman monta kävijää "voittajaan" vaihtelua kuin mahdollista. Moniaseisten rosvojen ongelma on, että niiden tulokset eivät ole luotettavia pitkän aikavälin suorituskyvyn indikaattoreita, joten tämäntyyppisten kokeilujen käyttötapa rajoittuu aikaherkkiin tapauksiin, kuten myynninedistämiseen.

Optimaalisesti kuitenkin on erityyppinen rosvoalgoritmi korkeamman suunnitelman käyttäjille - Stats Accelerator (tunnetaan nyt nimellä ”Accelerate Learnings” -vaihtoehto Banditsissa). Tässä määrityksessä sen sijaan, että yrittäisi kohdistaa liikennettä dynaamisesti tehokkaimpaan muunnelmaan, Optimizely kohdistaa liikenteen dynaamisesti muunnelmille, jotka todennäköisimmin saavuttavat tilastollisen merkittävyyden nopeimmin. Näin voit oppia nopeammin ja säilyttää perinteisten A/B -testitulosten toistettavuuden.

Strategia #4: Lisää hymiöitä metrisiin nimiin

Tämä ajatus kuulostaa ensi silmäyksellä luultavasti epätarkoitukselta, jopa järjettömältä. Keskeinen näkökohta sen varmistamisessa, että luet oikeat kokeilun tulokset, alkaa kuitenkin varmistaa, että yleisösi ymmärtää kysymyksen. 

Joskus yrityksistämme huolimatta metrien nimet voivat muuttua hämmentäviksi (odota - syttyykö tämä mittari, kun tilaus hyväksytään tai kun käyttäjä osuu kiitossivulle?), Tai kokeessa on niin paljon tietoja, että tuloksia vieritetään ylös ja alas sivu johtaa täydelliseen kognitiiviseen ylikuormitukseen.

Emojien lisääminen mittareiden nimiin (kohteet, vihreät valintamerkit, jopa iso rahapussi voi toimia) voi johtaa sivuihin, jotka ovat paljon skannattavampia. 

Luota meihin - tulosten lukeminen tuntuu paljon helpommalta.

Strategia #5: Harkitse tilastollisen merkityksen tasoa uudelleen

Tulokset katsotaan ratkaiseviksi Optimizely -kokeilun yhteydessä, kun ne on saavutettu tilastollinen merkitsevyys. Tilastollinen merkitsevyys on kova matemaattinen termi, mutta lähinnä se on todennäköisyys, että havaintosi ovat seurausta kahden populaation todellisesta erosta eivätkä vain satunnaisesta sattumasta. 

Optimizelyn raportoidut tilastolliset merkitsevyystasot ovat ”aina päteviä” matemaattisen käsitteen ansiosta peräkkäinen testaus - tämä tekee niistä itse asiassa paljon luotettavampia kuin muut testaustyökalut, jotka ovat alttiita kaikenlaisille "kurkistus" -ongelmille, jos luet ne liian aikaisin.

On syytä harkita, minkä tason tilastollista merkitsevyyttä pidät tärkeänä testiohjelmasi kannalta. Vaikka 95% on tiedeyhteisön käytäntö, testaamme verkkosivustojen muutoksia, emme rokotteita. Toinen yleinen valinta kokeilumaailmassa: 90%. Mutta oletko valmis hyväksymään hieman enemmän epävarmuutta, jotta voit suorittaa kokeita nopeammin ja testata lisää ideoita? Voisitko käyttää 85% tai jopa 80% tilastollista merkitsevyyttä? Riskin ja tuoton tasapainon tarkoituksellinen käyttäminen voi maksaa eksponentiaalisia osinkoja ajan mittaan, joten harkitse tätä huolellisesti.

Lue lisää Optimizely Intelligence Cloudista

Nämä viisi nopeaa periaatetta ja oivallusta ovat uskomattoman hyödyllisiä mielessä pitäessäsi Optimizelyä. Kuten minkä tahansa työkalun kohdalla, se varmistaa, että ymmärrät kaikki kulissien takana olevat mukautukset, joten voit varmistaa, että käytät työkalua tehokkaasti ja tehokkaasti. Näiden ymmärrysten avulla voit saada etsimäsi luotettavat tulokset, kun tarvitset niitä. 

Mitä mieltä olet?

Tämä sivusto käyttää Akismetiä roskapostin vähentämiseksi. Lue, miten kommenttitietosi käsitellään.