Optimizely Intelligence Cloud: Nola erabili estatistiken motorra A / B proba azkarrago eta azkarrago egiteko

Optimizely Stats Engine eta A / B probak egiteko estrategiak

Zure negozioa probatzen eta ikasten laguntzeko esperimentazio programa bat abian jarri nahi baduzu, erabiliko duzu Optimizely Intelligence Cloud - edo gutxienez begiratu duzu. Optimizely jokoaren tresnarik indartsuenetako bat da, baina horrelako edozein tresnak bezala, baliteke gaizki erabiltzea nola funtzionatzen duen ulertzen ez baduzu. 

Zerk egiten du Optimizely hain indartsua? Ezaugarri multzoaren oinarrian, hirugarrenen tresnetako estatistika-motorrik informatuena eta intuitiboena dago, zuzeneko proba garrantzitsuak lortzera gehiago zentratu ahal izateko, zure emaitzak gaizki interpretatzen dituzula kezkatu beharrik gabe. 

Medikuntzako itsu ohiko ikasketen antzera, B / azterketa A ausaz desberdinak erakutsiko ditu tratamenduak zure webgunea erabiltzaile ezberdinekin tratamendu bakoitzaren eraginkortasuna alderatzeko. 

Estatistikek gero epe luzera tratamendu hori zein eraginkorra izan daitekeen jakiteko balio digute. 

A / B probatzeko tresna gehienak bi inferentzia estatistiko mota hauetako batean oinarritzen dira: maiztasuneko estatistikak edo bayesiarrak. Ikastetxe bakoitzak alde onak eta txarrak ditu: estatistika maiztasunek laginaren tamaina finkatzea eskatzen dute esperimentua egin aurretik, eta estatistika bayesiarrak batez ere norabide erabaki onak hartzeaz arduratzen dira, inpaktuaren figura bakarra zehaztu beharrean, bi adibide aipatzearren. Optimizelyren superpotentzia gaur egun merkatuan dagoen tresna bakarra da bi munduen onena hurbilketa.

Azken emaitza? Erabiltzaileei esker, esperimentuak azkarrago, modu fidagarriagoan eta modu intuitiboagoan egin daitezke.

Hori ondo aprobetxatzeko, ordea, garrantzitsua da atzean zer gertatzen den ulertzea. Hona hemen Optimizely-ren gaitasunak profesional gisa erabiltzera eramango zaituzten 5 ikuspegi eta estrategia.

1. estrategia: Ulertu metrika guztiak ez direla berdinak

Probako tresna gehienetan, normalean ahazten ez den arazoa da probaren zati gisa zenbat eta metrika gehiago gehitu eta jarraipena egiten duzula, orduan eta probabilitate gehiago izango dituzula ausazko aukerak direla eta ondorio okerrak ikusteko (estatistiketan, "proba anitzeko arazoa" deritzo). ”). Emaitzak fidagarriak izan daitezen, Optimizely-k zenbait kontrol eta zuzenketa erabiltzen ditu gerta litekeen probabilitatea ahalik eta baxuena izan dadin. 

Kontrol eta zuzenketa horiek bi inplikazio dituzte probak Optimizely-n konfiguratzera zoazenean. Lehenik eta behin, zure gisa izendatzen duzun metrika Lehen mailako metrika esanahi estatistikoa azkarrena lortuko du, gainerako gauza guztiak konstanteak. Bigarrenik, zenbat eta metrika gehiago gehitu esperimentu bati, orduan eta denbora gehiago beharko dute zure metrikek estatistika-garrantzia lortzeko.

Esperimentu bat antolatzerakoan, ziurtatu zure metrika zein izango den zure Iparraldea zure erabakiak hartzeko prozesuan ezagutzen duzula, egin zure Metrika Nagusia. Ondoren, mantendu gainerako metriken zerrenda makala, soberan edo tangentzialegia dena kenduz.

2. estrategia: Eraiki zeure atributu pertsonalizatuak

Optimizely bikaina da zure esperimentuaren emaitzak segmentatzeko modu interesgarri eta lagungarriak eskaintzeko. Adibidez, zenbait tratamenduk mahaigainean edo mugikorrean hobeto funtzionatzen duten edo trafiko iturrien arteko desberdintasunak ikus ditzakezu. Zure esperimentazio programa heltzen den heinean, azkar segmentu berriak nahi dituzu. Hauek erabileraren kasu zehatzak izan daitezke, adibidez, harpidetzak behin bakarrik edo harpidetzetarako erosketak, edo orokorrak "bisitari berriak vs. egia esan, oraindik ezin dugu asmatu zergatik ez den kutxatik kanpo ematen).

Albiste ona da Optimizely-ren Project Javascript eremuaren bidez, Optimizely-rekin ezagutzen duten ingeniariek bisitariei esleitu eta segmentatu ditzaketen atributu pertsonalizatu interesgarri ugari eraiki ditzaketela. Cro Metrics-en, gure bezero guztientzako proiektuaren Javascript-en bidez instalatzen ditugun stock modulu ugari (hala nola "bisitari berriak eta itzuliko diren bisitariak") eraiki ditugu. Gaitasun hori baliatzea funtsezko bereizlea da exekutatzen laguntzeko baliabide tekniko egokiak dituzten talde helduen eta esperimentazioaren potentzial guztia lortzeko borrokatzen duten taldeen artean.

3. estrategia: Arakatu Optimizely-ren Stats Accelerator

Askotan overhyped probatzeko tresna eginbide bat "armatu anitzeko bidelapurrak" erabiltzeko gaitasuna da, makina ikasteko algoritmo mota bat, esperimentuan zehar zure trafikoa esleitzen den tokian dinamikoki aldatzen dena, "irabazle" izatera bisitari asko bidaltzeko. ahalik eta aldakuntza. Armatu anitzeko bidelapurren arazoa da beraien emaitzak ez direla epe luzeko errendimenduaren adierazle fidagarriak; beraz, esperimentu mota horien erabilera kasua denbora-kasuetarako salmenten promozioak bezalako kasuetara mugatzen da.

Optimizazioarekin, ordea, beste goi mailako planetako erabiltzaileen eskura dago bandit algoritmo mota - Stats Accelerator (gaur egun "Accelerate Learnings" aukera izenarekin ezagutzen da Bandits barruan). Konfigurazio honetan, trafikoa errendimendu handieneko aldakuntzari dinamikoki esleitzen saiatu beharrean, optimizely trafikoa dinamikoki esleitzen du estatistikako esangurarik azkarrena lortzeko litekeen aldakuntzetara. Horrela, azkarrago ikas dezakezu eta A / B probako emaitzen errepikagarritasuna mantendu.

4. estrategia: gehitu Emojiak zure izen metrikoei

Lehen begiratuan, ideia hori lekuz kanpo entzuten da ziurrenik, nahiz eta inanoa izan. Hala ere, esperimentuaren emaitza egokiak irakurtzen dituzula ziurtatzeko funtsezko alderdia zure ikusleek galdera ulertu dezaketela ziurtatzen hasten da. 

Batzuetan ahalegina egin arren, izen metrikoak nahasgarriak bihur daitezke (itxaron - metrika hori pizten al da eskaera onartzen denean edo erabiltzaileak eskerrak emateko orrian joaten denean?), Edo esperimentu batek emaitzak gora eta behera korritzen dituen metrika ugari ditu. orrialdeak gainkarga kognitibo osoa eragiten du.

Zure metriken izenetan emojiak gehitzeak (helburuak, marka berdeak, baita diru poltsa handiak ere funtziona dezake) askoz ere eskaneatu daitezkeen orrialdeak sor daitezke. 

Konfiantza gurekin: emaitzak irakurtzea askoz ere errazagoa izango da.

5. estrategia: Kontuan hartu berriro zure estatistika-esangura maila

Emaitzak behin betikotzat jotzen dira iritsi direnean Optimizely esperimentu baten testuinguruan esanahi estatistikoa. Esanahi estatistikoa termino matematiko gogorra da, baina funtsean zure behaketak bi populazioen arteko benetako desberdintasunaren emaitza dira, eta ez ausazko aukerak. 

Optimizelyren berri ematen duten estatistika mailak "beti baliozkoak" dira izeneko kontzeptu matematikoari esker proba sekuentzialak - Horrek benetan fidagarriago bihurtzen ditu beste proba-tresnetakoak baino, zeinek "begiratu" mota guztietako arazoak izaten baitituzte goizegi irakurtzen badituzu.

Kontuan hartu behar da zein den zure estatistikako esanahi maila zein garrantzitsua iruditzen zaizun probarako programan. Komunitate zientifikoan% 95 konbentzioa den arren, webgune aldaketak probatzen ari gara, ez txertoak. Beste aukera arrunt bat mundu esperimentalean:% 90. Baina prest zaude ziurgabetasun apur bat gehiago onartzeko esperimentuak azkarrago egiteko eta ideia gehiago probatzeko? % 85 edo% 80ko garrantzia estatistikoa erabil al dezakezu? Zure arrisku-sariaren saldoari buruz nahita egoteak dibidendu esponentzialak sor ditzake denboran zehar, beraz, pentsa hau arretaz.

Irakurri gehiago Optimizely Intelligence Cloud-i buruz

Bost printzipio eta ikuspegi azkar hauek oso lagungarriak izango dira Optimizely erabiltzen duzun bitartean kontuan izateko. Edozein tresnarekin gertatzen den moduan, atzean eszenatokiko pertsonalizazio guztiak ondo ezagutzen dituzula ziurtatzean datza, tresna modu eraginkor eta eraginkorrean erabiltzen duzula ziurtatu ahal izateko. Ulermen horiekin, bilatzen ari zaren emaitza fidagarriak lor ditzakezu behar dituzunean. 

Zer deritzozu?

Gune honek Akismet-ek spam erabiltzen du. Ikasi zure iruzkina nola prozesatu den.