Cloud ta 'Intelliġenza Ottimizzata: Kif Tuża l-Magna Stats Biex A / B Ittestja b'mod aktar intelliġenti, U Aktar Mgħaġġel

Jekk qed tfittex li tmexxi programm ta 'esperimentazzjoni biex tgħin lin-negozju tiegħek jittestja u jitgħallem, hemm ċans li qed tuża Cloud Intelliġenza Ottimizzata - jew għallinqas ħarist lejh. Optimizely hija waħda mill-aktar għodda qawwija fil-logħba, imma bħal kull għodda bħal din, tista 'tużaha ħażin jekk ma tifhimx kif taħdem. 

X'jagħmel lil Optimizely daqshekk qawwi? Fil-qalba tas-sett ta 'karatteristiċi tiegħu tinsab l-iktar magna tal-istatistika infurmata u intuwittiva f'għodda ta' parti terza, li tippermettilek tiffoka aktar fuq li tagħmel testijiet importanti ħajjin - mingħajr ma jkollok għalfejn tinkwieta li qed tinterpreta ħażin ir-riżultati tiegħek. 

Bħal studju għomja tradizzjonali fil-mediċina, A / B ittestjar se juri b'mod każwali differenti trattamenti tas-sit tiegħek ma 'utenti differenti biex imbagħad tqabbel l-effikaċja ta' kull trattament. 

L-istatistika mbagħad tgħinna nagħmlu inferenzi dwar kemm jista 'jkun effettiv dak it-trattament fit-tul. 

Il-biċċa l-kbira tal-għodod tal-ittestjar A / B jiddependu fuq wieħed miż-żewġ tipi ta 'inferenza statistika: stats frekwentisti jew Bayesjani. Kull skola għandha diversi vantaġġi u żvantaġġi - L-istatistika frekwentista teħtieġ li jiġi ffissat daqs tal-kampjun qabel ma jmexxi esperiment, u l-istatistika Bayesjana prinċipalment tieħu ħsieb li tieħu deċiżjonijiet direzzjonali tajbin minflok ma tispeċifika kwalunkwe figura waħda għall-impatt, biex insemmu żewġ eżempji. Is-superpotenza ta 'Optimizely hija li hija l-unika għodda fis-suq illum li tieħu l-aħjar miż-żewġ dinjiet approċċ.

Ir-riżultat aħħari? B'ottimità jippermetti lill-utenti jmexxu esperimenti aktar malajr, b'mod aktar affidabbli, u b'mod aktar intuwittiv.

Sabiex tieħu vantaġġ sħiħ minn dan, madankollu, huwa importanti li tifhem dak li qed jiġri wara l-kwinti. Hawnhekk hawn 5 għarfien u strateġiji li jwassluk biex tuża l-kapaċitajiet ta 'Optimizely bħal pro.

Strateġija # 1: Ifhem Li Mhux Il-Metriċi Kollha Inħolqu Ugwali

Fil-biċċa l-kbira tal-għodod tal-ittestjar, kwistjoni komunement injorata hija li iktar ma żżid u tissorvelja metriċi bħala parti mit-test tiegħek, iktar tkun probabbli li tara xi konklużjonijiet skorretti minħabba ċans każwali (fl-istatistiċi, din tissejjaħ il- "problema tal-ittestjar multiplu ”). Sabiex iżomm ir-riżultati affidabbli, Optimizely juża sensiela ta 'kontrolli u korrezzjonijiet biex iżomm l-odds ta' dak li jseħħ baxx kemm jista 'jkun. 

Dawk il-kontrolli u l-korrezzjonijiet għandhom żewġ implikazzjonijiet meta tmur biex twaqqaf testijiet f'Optimizely. L-ewwel, il-metrika li tinnomina bħala tiegħek Metrika Primarja se jilħaq l-iktar sinifikat statistiku malajr, l-affarijiet l-oħra kollha kostanti. It-tieni, iktar ma żżid il-metriċi ma 'esperiment, iktar ma ddum il-metriċi aktar tard tiegħek biex tilħaq sinifikat statistiku.

Meta tippjana esperiment, kun żgur li taf liema metrika se tkun it-Tramuntana Vera tiegħek fil-proċess tat-teħid tad-deċiżjonijiet, kun dik il-Metrika Primarja tiegħek. Imbagħad, żomm il-bqija tal-lista tal-metriċi tiegħek dgħif billi tneħħi kwalunkwe ħaġa li hija superfluwa jew tanġenzjali wisq.

Strateġija # 2: Ibni l-Attributi tad-Dwana Tiegħek

Optimizely huwa kbir biex jagħtik bosta modi interessanti u utli biex tissettmenta r-riżultati tal-esperiment tiegħek. Pereżempju, tista 'teżamina jekk ċerti trattamenti jaħdmux aħjar fuq id-desktop kontra l-mowbajl, jew tosserva differenzi bejn is-sorsi tat-traffiku. Hekk kif il-programm ta 'esperimentazzjoni tiegħek jimmatura għalkemm, malajr tixtieq għal segmenti ġodda - dawn jistgħu jkunu speċifiċi għall-każ ta' użu tiegħek, bħal segmenti għal xiri ta 'darba vs. abbonament, jew ġenerali daqs "viżitaturi ġodda kontra dawk li jirritornaw" (li, franchement, għadna ma nistgħux insemmu għaliex dak mhux ipprovdut barra mill-kaxxa).

L-aħbar it-tajba hija li permezz tal-qasam tal-Proġett Javascript ta 'Optimizely, inġiniera familjari ma' Optimizely jistgħu jibnu kwalunkwe numru ta 'attributi tad-dwana interessanti li l-viżitaturi jistgħu jiġu assenjati lilhom u segmentati minnhom. Fi Cro Metrics, bnejna numru ta 'moduli tal-ħażniet (bħal "viżitaturi ġodda kontra dawk li jirritornaw") li ninstallaw għall-klijenti kollha tagħna permezz tal-Javascript tal-Proġett tagħhom. L-ingranaġġ ta ’din il-ħila huwa differenzjatur ewlieni bejn timijiet maturi li għandhom ir-riżorsi tekniċi tajbin biex jgħinuhom jeżegwixxu, u timijiet li jitħabtu biex jirrealizzaw il-potenzjal sħiħ tal-esperimentazzjoni.

Strateġija # 3: Esplora l-Aċċeleratur tal-Istats ta 'Optimizely

Karatteristika waħda ta 'għodda ta' ttestjar ta 'spiss overhyped hija l-abbiltà li tuża "banditi multi-armati", tip ta' algoritmu ta 'tagħlim tal-magni li jinbidel b'mod dinamiku fejn it-traffiku tiegħek huwa allokat matul kors ta' esperiment, biex tibgħat kemm viżitaturi lir- "rebbieħ" varjazzjoni kemm jista 'jkun. Il-kwistjoni ma 'banditi b'ħafna armi hija li r-riżultati tagħhom mhumiex indikaturi affidabbli ta' prestazzjoni fit-tul, għalhekk il-każ ta 'użu għal dawn it-tipi ta' esperimenti huwa limitat għal każijiet sensittivi għall-ħin bħal promozzjonijiet ta 'bejgħ.

Madankollu, bl-aħjar mod, għandu tip differenti ta 'algoritmu ta' bandit disponibbli għall-utenti fuq pjanijiet ogħla - Stats Accelerator (issa magħruf bħala l-għażla "Aċċellera T-Tagħlim" ġewwa Bandits). F'din is-setup, minflok ma tipprova talloka dinamikament it-traffiku għall-varjazzjoni bl-ogħla prestazzjoni, Ottimament talloka b'mod dinamiku traffiku għall-varjazzjonijiet li x'aktarx jilħqu sinifikat statistiku l-iktar malajr. B'dan il-mod, tista 'titgħallem aktar malajr, u żżomm ir-replikabilità tar-riżultati tat-test A / B tradizzjonali.

Strateġija # 4: Żid Emojis mal-Ismijiet Metriċi Tiegħek

Ewwel daqqa t'għajn, din l-idea probabbilment tinstema 'barra minn postha, anke inana. Madankollu, aspett ewlieni biex tkun żgur li qed taqra r-riżultati tal-esperiment it-tajjeb jibda billi jiġi żgurat li l-udjenza tiegħek tista 'tifhem il-mistoqsija. 

Kultant minkejja l-aħjar sforzi tagħna, ismijiet metriċi jistgħu jsiru konfużi (stenna - dak il-metriku jaħbat meta l-ordni tiġi aċċettata, jew meta l-utent jolqot il-paġna ta 'ringrazzjament?), Jew esperiment għandu tant metriċi li jmorru' l fuq u 'l isfel mir-riżultati paġna twassal għal tagħbija żejda konjittiva totali.

Iż-żieda ta 'emojis fl-ismijiet tal-metriċi tiegħek (miri, checkmarks ħodor, anke l-borża l-kbira tal-flus tista' taħdem) tista 'tirriżulta f'paġni li huma ferm aktar skannabbli. 

Fidu magħna - il-qari tar-riżultati se jħossu ħafna aktar faċli.

Strateġija # 5: Erġa 'kkunsidra l-Livell ta' Sinifikat Statistiku Tiegħek

Ir-riżultati huma meqjusa bħala konklużivi fil-kuntest ta 'esperiment Optimizely meta jkunu laħqu sinifikat statistiku. Is-sinifikat statistiku huwa terminu matematiku iebes, imma essenzjalment huwa l-probabbiltà li l-osservazzjonijiet tiegħek huma r-riżultat ta 'differenza reali bejn żewġ popolazzjonijiet, u mhux biss ċans każwali. 

Il-livelli ta 'sinifikat statistiku rrappurtati ta' Optimizely huma "dejjem validi" grazzi għal kunċett matematiku msejjaħ ittestjar sekwenzjali - dan fil-fatt jagħmilhom ferm aktar affidabbli minn dawk ta 'għodod ta' ttestjar oħra, li huma suxxettibbli għal kull xorta ta 'kwistjonijiet ta' "peeking" jekk taqrahom kmieni wisq.

Ta 'min jikkunsidra liema livell ta' sinifikat statistiku tqis importanti għall-programm ta 'ttestjar tiegħek. Filwaqt li 95% hija l-konvenzjoni fil-komunità xjentifika, aħna qed nittestjaw tibdiliet fil-websajt, mhux vaċċini. Għażla oħra komuni fid-dinja sperimentali: 90%. Imma int lest li taċċetta ftit iktar inċertezza sabiex tmexxi esperimenti aktar malajr u tittestja aktar ideat? Tista 'tkun qed tuża 85% jew saħansitra 80% sinifikat statistiku? Li tkun intenzjonat dwar il-bilanċ tar-riskju u l-premju tiegħek jista 'jħallas dividendi esponenzjali maż-żmien, allura aħseb sewwa.

Aqra Aktar Dwar Cloud Intelliġenza Optimizely

Dawn il-ħames prinċipji u għarfien mgħaġġla se jkunu utli ħafna biex wieħed iżomm f'moħħu waqt li juża Optimizely. Bħal kull għodda, din tiddeduċi biex tiżgura li jkollok fehim tajjeb tal-adattamenti kollha wara l-kwinti, sabiex tkun tista 'tkun żgur li qed tuża l-għodda b'mod effiċjenti u effettiv. B'dawn il-fehmiet, tista 'tikseb ir-riżultati affidabbli li qed tfittex, meta jkollok bżonnhom.