Optimizely Intelligenz Cloud: Wéi benotzt een de Statsmotor fir A/B Test méi schlau, a méi séier

Optimiséiert Statistiken Engine an A/B Teststrategien

Wann Dir sicht en Experimentéierungsprogramm ze lafen fir Äert Geschäft ze hëllefen ze testen & ze léieren, d'Chancen datt Dir benotzt Optimiséiert Intelligence Cloud - oder Dir hutt op d'mannst gekuckt. Optimizely ass ee vun de mächtegste Tools am Spill, awer wéi all sou en Tool kënnt Dir et falsch benotzen wann Dir net versteet wéi et funktionnéiert. 

Wat mécht Optimizely sou mächteg? Am Kär vu sengem Feature-Set läit den informéiertsten an intuitivste Statistikmotor an engem Drëtt-Partei-Tool, wat Iech erlaabt Iech méi ze fokusséieren fir wichteg Tester live ze kréien-ouni Iech Suergen ze maachen datt Dir Är Resultater falsch interpretéiert. 

Vill wéi eng traditionell blann Studie an der Medizin, A / B Testen wäert zoufälleg anescht weisen Behandlunge vun Ärem Site u verschidde Benotzer fir dann d'Effizienz vun all Behandlung ze vergläichen. 

Statistike hëllefen eis dann Aflëss ze maachen iwwer wéi effektiv dës Behandlung op laang Siicht ka sinn. 

Déi meescht A/B Testinstrumenter vertrauen op eng vun zwou Aarte vu statistescher Inferenz: Frequentist oder Bayesian Statistiken. All Schoul huet verschidde Vir- a Nodeeler - Frequentist Statistike erfuerderen eng Probe Gréisst ier e Experiment ausgefouert gëtt, a Bayesian Statistike këmmeren sech haaptsächlech ëm gutt Richtungsentscheedungen ze huelen anstatt eng eenzeg Figur fir Impakt ze spezifizéieren, fir zwee Beispiller ze nennen. D'Supermuecht vun Optimizely ass datt et dat eenzegt Tool um Maart haut ass fir eng bescht vu béide Welten virugoen.

D'Enn Resultat? Optimizely erlaabt d'Benotzer Experimenter méi séier, méi zouverléisseg a méi intuitiv auszeféieren.

Fir dat voll ze notzen, ass et awer wichteg ze verstoen wat hannert de Kulissen geschitt. Hei sinn 5 Abléck a Strategien, déi Iech mat Optimizely seng Fäegkeete wéi e Pro kréien.

Strategie #1: Verstitt datt net all Metriken d'selwecht erstallt ginn

An de meeschten Testinstrumenter ass eng allgemeng iwwersinn Thema datt déi méi Metriken déi Dir derbäigesat a verfollegt als Deel vun Ärem Test, wat méi wahrscheinlech Dir e puer falsch Conclusioune gesitt wéinst zoufälleg Chance (a Statistike gëtt dëst de "multiple Testprobleem" genannt “). Fir seng Resultater zouverlässeg ze halen, benotzt Optimizely eng Rei vu Kontrollen a Korrekturen fir d'Chancen ze halen datt dat sou niddereg wéi méiglech ass. 

Déi Kontrollen a Korrekturen hunn zwou Implikatioune wann Dir gitt fir Tester am Optimizely opzemaachen. Als éischt, d'Metrik, déi Dir als Är bezeechent Primär Metrik wäert statistesch Bedeitung séierst erreechen, all aner Saachen konstant. Zweetens, wat méi Metriken Dir un en Experiment bäidréit, wat méi laang Är spéider Metriken daueren fir statistesch Bedeitung z'erreechen.

Wann Dir en Experiment plangt, gitt sécher datt Dir wësst wéi eng Metrik Ären True North an Ärem Entscheedungsprozess wäert sinn, maacht datt Är Primär Metric. Dann haalt de Rescht vun Ärer Metriklëscht schlank andeems Dir alles läscht wat ze iwwerflësseg oder tangential ass.

Strategie #2: Baut Är eege Benotzerdefinéiert Attributer

Optimizely ass super fir Iech e puer interessant an hëllefräich Weeër ze ginn fir Är Experimentresultater ze segmentéieren. Zum Beispill kënnt Dir ënnersichen ob verschidde Behandlungen besser op Desktop vs. Wéi Ären Experimentprogramm awer reift, wënscht Dir Iech séier nei Segmenter-dës kënne spezifesch fir Äre Benotzungsfall sinn, wéi Segmenter fir eemoleg vs. éierlech gesot, mir kënnen nach ëmmer net erausfannen firwat dat net aus der Këscht geliwwert gëtt).

Déi gutt Neiegkeet ass datt iwwer Optimizely's Project Javascript Feld, Ingenieuren, déi mam Optimizely vertraut sinn, kënnen eng Zuel vun interessante personaliséierten Attributer bauen, op déi d'Visiteure kënne zougewisen a segmentéiert ginn. Bei Cro Metrics hu mir eng Rei Aktiemoduler (wéi "nei vs. Dës Fäegkeet notzen ass e Schlësseldifferenzéierer tëscht reife Teams déi déi richteg technesch Ressourcen hunn fir hinnen ze hëllefen auszeféieren, an Teams déi kämpfe fir dat vollt Potenzial vun der Experimentéierung ze realiséieren.

Strategie #3: Entdeckt Optimizely's Stats Accelerator

Eng dacks iwwerhypéiert Testinstrument Feature ass d'Fäegkeet "Multi-bewaffnete Banditten" ze benotzen, eng Zort Maschinnléiere Algorithmus deen dynamesch ännert wou Äre Traffic am Laf vun engem Experiment zougewise gëtt, fir sou vill Besucher op de "Gewënn" ze schécken Variatioun wéi méiglech. D'Fro mat multi-bewaffnete Banditten ass datt hir Resultater keng zouverléisseg Indikatoren fir laangfristeg Leeschtung sinn, sou datt de Benotzungsfall fir dës Aarte vun Experimenter limitéiert ass op Zäitempfindlech Fäll wéi Verkafspromotiounen.

Optimiséiert huet awer eng aner Aart Bandit Algorithmus verfügbar fir Benotzer op méi héije Pläng - Stats Accelerator (elo bekannt als "Accelerate Learnings" Optioun bannent Bandits). An dësem Setup, anstatt ze probéieren dynamesch Traffic un déi héchst performant Variatioun ze allocéieren, allocéiert Optimize dynamesch Traffic op d'Variatiounen déi héchstwahrscheinlech statistesch Bedeitung séierst erreechen. Op dës Manéier kënnt Dir méi séier léieren, an d'Replikabilitéit vun traditionellen A/B Testresultater behalen.

Strategie #4: Füügt Emojis op Är Metresch Nimm

Op den éischte Bléck kléngt dës Iddi wahrscheinlech aus der Plaz, och inane. Wéi och ëmmer, e Schlësselaspekt fir sécherzestellen datt Dir déi richteg Experimentresultater liest fänkt u sécher ze stellen datt Äert Publikum d'Fro kann verstoen. 

Heiansdo trotz eise beschte Beméiunge kënne metresch Nimm konfus ginn (waart - bréngt dat metrescht Feier wann d'Bestellung ugeholl gëtt, oder wann de Benotzer op der Merci Säit schéisst?), Oder en Experiment huet sou vill Metriken déi op an no de Resultater scrollen Säit féiert zu total kognitiver Iwwerlaascht.

Emojis op Är Metrikennimm bäizefügen (Ziler, gréng Schecken, och déi grouss Suenstut kéint funktionnéieren) kënnen zu Säiten féieren, déi vill méi scannbar sinn. 

Vertraut eis - d'Resultater auszeliesen fille vill méi einfach.

Strategie #5: Betruecht Ären statistesche Bedeitungsniveau nei

D'Resultater ginn als konklusiv ugesinn am Kontext vun engem Optimizely Experiment wa se erreecht hunn statistesch Bedeitung. Statistesch Bedeitung ass en haarden mathematesche Begrëff, awer am Wesentlechen ass et d'Wahrscheinlechkeet datt Är Observatioune d'Resultat vun engem reellen Ënnerscheed tëscht zwou Populatiounen sinn, an net nëmmen zoufälleg Chance. 

Optimize gemellt statistesch Bedeitungsniveauen sinn "ëmmer valabel" dank engem mathematesche Konzept genannt sequentiell Tester - dëst mécht se tatsächlech vill méi zouverléisseg wéi déi vun aneren Testinstrumenter, déi ufälleg sinn fir all Zort vu "peeking" Themen wann Dir se ze séier liest.

Et ass derwäert ze berécksiichtegen op wéi engem Niveau vun der statistescher Bedeitung Dir wichteg fir Ären Testprogramm denkt. Wärend 95% d'Konventioun an der wëssenschaftlecher Gemeinschaft ass, testen mir Websäit Ännerungen, net Impfungen. Eng aner allgemeng Wiel an der experimenteller Welt: 90%. Awer sidd Dir bereet e bësse méi Onsécherheet ze akzeptéieren fir Experimenter méi séier auszeféieren a méi Iddien ze testen? Kënnt Dir 85% oder souguer 80% statistesch Bedeitung benotzen? Absicht iwwer Är Risiko-Belounungsbalance ze sinn kann exponentiell Dividenden mat der Zäit bezuelen, also denkt dëst virsiichteg duerch.

Liest Méi Iwwer Optimizely Intelligence Cloud

Dës fënnef séier Prinzipien an Abléck sinn onheemlech hëllefräich fir am Kapp ze halen wärend Dir Optimizely benotzt. Wéi mat all Tool kacht et erof fir sécherzestellen datt Dir e gutt Verständnis vun allen hannert de Kulissen Personnalisatiounen hutt, sou datt Dir sécher sidd datt Dir den Tool effizient an effektiv benotzt. Mat dëse Versteesdemech kënnt Dir déi zouverléisseg Resultater kréien, op déi Dir sicht, wann Dir se braucht. 

Wat denks du?

Dëse Site benotzt Akismet fir Spam ze reduzéieren. Léiert wéi Är Kommentarfaten veraarbecht ginn.