丹尼尔·伯斯坦

狗万体育安卓版营销101:什么是A/B分割测试?

2018年2月2日
分享

市场营销有自己的语言。这是我们最新的一系列文章,旨在帮助新的营销人员学习这种语言。你发现自己在入职时最常向新员工解释的术语是什么?让我们知道.

A/B拆分测试是指同时向两个随机用户组发送不同内容以监控特定活动元素性能的测试情况。

A/B分割测试是提高市场营销和信息传递性能的有效方法,因为它可以让你根据实际用户行为(而不仅仅是营销人员的意见)做出最佳标题、广告文案、登录页面设计等决策。

让我们来分析一下A/B分离测试的过程。

真人参加测试

与其他形式的营销研究(如焦点小组或调查)相比,这是A/B分离测试的一部分力量。A/B分割测试是在真实的购买情境中与真实的人一起进行的,他们会做出真实的决策,而不是在调查或焦点小组中询问(希望)代表客户的人在假设情境中可能会做什么,或者记住他们在过去的情境中做了什么。

你不仅可能在不经意间影响人们,改变他们的答案(因为研究收集机制并不完全模拟现实情况),而且人们可能只是告诉你他们认为你想听的话。

或者,很多时候,客户错误判断他们在某种情况下的行为,或者错误记住他们过去的行为。

这并不意味着你不应该使用调查、焦点小组等方法。用这些新信息创建一个假设关于你的客户。然后进行A/B分割测试,从真实客户那里了解你的假设是否正确。

样本分割

人们被随机分成两组(或两组以上)。这些组就是你的样本。它被称为样品,因为不是每个从你这里买过东西的顾客都能买到。这是这些客户的一个样本。你需要足够的客户来确保你有一个统计上显著的样本。这提供了一种很高的可能性,即您从该样本中记录的行为准确地代表了客户行为,而不仅仅是由于样本量太小而产生的随机事件。

这些组将显示不同的营销元素,以便您可以发现这些元素的表现。为了确保测试准确地代表客户行为,这一划分有几个基本组成部分:

  • 客户不知道他们正在被拆分-如果他们知道自己是测试的一部分,就会影响他们的行为(就像焦点小组、调查等)。他们只是在日常生活中做购买决定。事实上,在你的生活中,你可能已经在许多a /B分离测试的样本中,而你并不知道这一点。
  • 顾客是随机分配的-在测试中接触到不同营销元素的不同群体是相似的群体,这一点很重要。例如,您不希望将电子邮件中的所有流量发送到您正在测试的一个标题,而将社交媒体中的所有流量发送到另一个标题。在这种情况下,您体验到的结果差异可能是不同类型的客户看到每个标题的结果,而不是因为一个标题在所有客户中的表现都优于另一个标题。

如果客户不是随机划分的,这表示有效性威胁(即对测试结果准确性的威胁)。这种特殊的威胁称为选择效应。

这种随机分割是A/B分割测试比调查、焦点小组或类似类型的营销研究更准确的另一个原因。这些类型的研究天生容易受到选择效应的影响。在这些情况下,您会从客户那里获得信息,这些客户自行选择进行调查、参加焦点小组或参与其他类型的研究,因此可能会更有动力(或者与您的客户不同)。

由于客户并不知道他们正在被分割——他们只是按照常规购买和其他行为——A/B分割测试会发生在与你的客户群相同的客户身上,因为他们毕竟是你的实际客户群。

  • 样品中有足够的客户—例如,如果你只测试了两个客户,那么这两个客户就不太可能代表你所有的客户,如果你测试了100万客户。

这两个客户可能恰好不喜欢蓝色,而你的登录页上有一辆蓝色的汽车,所以他们会反弹。然而,对于大多数客户来说,这个小细节可能并不重要。如果你认为你从两个客户那里学到的东西准确地反映了你所有的客户,你就会被严重误导。

如果你在100万用户中进行测试,那么像这样的随机因素导致你误入歧途的可能性就会大大降低。

当然,这是一个极端的例子,但理解它很重要测试样本大小以及需要多少交互才能获得统计上显著的结果。

行为记录

在你的客户被分割后,一半将显示版本A(通常是“控制”,即你之前所做的),另一半将显示版本B(通常是“处理”或你试图测试的新更改)。

然而,你可以测试不止一种对照和一种治疗方法。你可以测试一组对照和两组治疗。你可以简单地测试四种治疗方法。只要确保你有足够的流量或其他行为,以便样本大小在统计上是显著的,如上所述。

这样想。如果你只有一个对照和一个治疗,你把每天2000个访问者分成两部分,那么每个版本就会有1000个访问者。然而,如果你有10个治疗,现在每天只有200名访客看到每个版本。

在互联网兴起之前,记录这些行为是一个相当长的项目。例如,您可能需要对正在测试的两封销售信函进行书写、打印、发送,然后等待回复。

通过数字A/B分割测试,你可以从数据中获得实时结果。这可以让你快速了解新客户,并利用这种了解更好地服务客户,提高结果。只需确保您运行测试的时间足够长,以准确地表示客户行为。

进入漏斗中的下一步

同时测试漏斗中的多个步骤要复杂得多,这可能会提高有效性威胁。所以你需要着眼于你的分析,并决定在你的漏斗中什么地方最适合进行测试(游戏邦注:例如登陆页面)。然后将这些转换发送回你的常规渠道。例如,在登录页面之后有一个购物车。

你可以在Twitter上关注Daniel Burstein,Marketing Sherpa and MECLABS Institute内容与营销高级总监@DanielBurstein.

如果你正在阅读这篇博文,你可能会对通过测试和优化来提高转化率感兴趣,所以

你可能也喜欢

在线测试认证课程从MECLABS Institute (MarketingSherpa的母公司研究机构)学习有效的实验执行方法

在线测试:微站点A/B分离测试提高铅含量155%

A/B分割测试:如何使用正确的测试进度来获得客户发现和结果

A/B测试:如果没有合适的样本大小,分割测试就毫无意义

丹尼尔·伯斯坦

关于丹尼尔Burstein

Daniel Burstein,MECLABS编辑内容高级总监。Daniel监督来自MarketingExperiments和MarketingSherpa品牌的所有内容和营销,同时帮助塑造MECLABS的编辑方向——挖掘可操作的信息,同时充当受众的代言人。丹尼尔还是现场活动和网络研讨会的发言人和主持人。此前,他是推动市场营销实验发布引擎的主要作家——从网络诊所到研究期刊再到博客。在加入团队之前,Daniel曾担任MindPulse Communications的副总裁。MindPulse Communications是一家专业从事IBM、VMware和BEA Systems等IT客户的精品通信咨询公司。Daniel在文案撰写、编辑、内部沟通、销售支持和现场营销沟通方面拥有18年的经验。

类别:市场营销,研究和测量标签:,,,,,,



我们不再接受MarketingSherpa博客上的评论,但我们很想听听你万博APP世杯版下载对“顾客至上”营销有什么了解。给我们一份给编辑的信来分享你的故事。
Baidu