App开发人员A B测试策略失败的5个原因

这是来自Alexandra Lamachenka的特邀帖子。亚历山德拉(Alexandra)是SplitMetrics的行销主管,SplitMetrics是Rovio,MSQRD,Prisma和Zeptolab信赖的A / B测试工具。她向移动开发公司展示了如何通过运行A / B实验和分析结果来破解海外应用商店的优化。

目录

通过A / B测试提高海外应用转换率
什么是A / B测试?
大多数开发人员在App A / B测试中失败。原因如下:
1.他们选择了错误的海外应用A / B测试方法
2.他们的样本量太小
3.他们进行混乱的A / B实验
4.他们的A / B测试结果解释有误
5.海外应用开发人员认为A / B实验只是一次动作
通过A / B测试提高海外应用转换率
虽然App Store上的平均(安装)海外应用转换率为26%,但大多数海外应用程序都在努力使其网页转换至少17%的传入流量。 A / B测试是一种可以超越预期并将转化率提高到50-60%的工具。

移动海外应用A / B测试
什么是A / B测试?
A / B测试是一种比较海外应用程序页面(列表)元素变化并确定可带来更多点击和安装的组合的方法。

要在海外应用页面上进行A / B实验,您需要确定需要优化的元素(屏幕截图,图标,标题等),创建两个或多个页面版本,并在其中平均分配受众。人们会根据他们看到的登录页面进行不同的交互,并且海外应用的转化率也会有所不同。

由于您知道潜在用户对不同元素的反应,因此您可以定义并实施成功的变体形式以增加转化次数和自然流量。

听起来像是一个完整的游戏规则改变者:您无需获得更多用户,而是通过简单的元素优化来双重安装。

尽管表面上看起来很简单,但是移动营销人员和开发人员在开始进行优化时往往会忽略一些基本的A / B测试规则。在这篇文章中,我们将分析A / B测试失败的原因,并说明如何使App A / B测试带来显著成果。

大多数开发人员在App A / B测试中失败。原因如下:
1.他们选择了错误的海外应用A / B测试方法
为了预测A / B测试结果,您需要对受众和竞争对手进行深入研究,并确保其没有偏见。理想情况下,开发人员不应倾向于他们所测试的选项。

但是,这些不能保证正面的A / B测试结果。

开发人员对自己的假设充满信心,他们尝试按顺序上传更改并在海外应用程序页面的实时版本上衡量结果。在大多数情况下,这会导致转化次数下降。由于返回以前的版本需要花费时间,因此这种有预见性的实验最终会花费安装成本和开发人员可以获得的金钱。

相反,该怎么做:如果您使用SplitMetrics之类的 A / B测试软件运行A / B实验,则不必冒页面实时版本的风险。它创建了模仿App Store的网页,您可以在其中更改和编辑页面的任何元素(屏幕快照,图标等)。然后,您将流量吸引到这些页面,以查看哪些有效,哪些无效。

2.他们的样本量太小
仅询问10或100个人就很难做出决定,因为这会导致低的置信度。换句话说,一小部分潜在用户无法代表整个听众,并且可能误导您有关A / B测试的结果。

替代方法:涉及海外应用A / B测试时,您拥有的样本量越大,您从A / B测试中获得的结果就越准确。

A / B测试置信度
使用A / B测试预算,您需要使用样本量计算器(例如Evan的)估算所需的样本量。这将确保您要问的一组潜在用户足够大,可以得到具有统计意义的结果。

A / B测试样本大小
3.他们进行混乱的A / B实验
什么你不想做的是忽视预实验研究和分析。海外应用程序开发人员在进行混乱的实验以希望找到一些随机的地方进行改进时会失败,这很常见。

尽管一项好的研究将花费一些时间,但是混乱的改变会占用两倍的时间和资源,并且与一项研究相反,它不会带来预期的结果。

即使开发人员的转化率提高了10%,随机测试也无法理解其背后的真正原因。

为什么使用偏爱使用新的图标颜色或CTA?可能是由潜在用户的隐藏习惯所决定的,您可以使用这些习惯来优化其他元素,并使转化率额外提高30%。通过随机测试,这个绝妙的机会将使您望而却步。

替代方法:仔细查看关键的用户获取渠道(付费流量,自然搜索,电子商务等),并确定用户获取渠道的瓶颈。根据竞争对手的研究和用户调查来制定要测试的假设。在制定测试策略时,请考虑优化步骤,在这些步骤中,人们会弹跳,而可能影响转换的因素也是如此。

ASO指南将帮助您确定每个步骤的优化技术。

4.他们的A / B测试结果解释有误
当开发人员从A / B实验中获得负结果或零结果时,通常会如此。这是否意味着移动A / B测试不会为他们带来任何好处?以及仅有微小差异的积极结果是否需要立即实施?

即使开发人员的海外应用转换率与平均26%的差距还很遥远,并且需要进行优化,但大多数开发人员在第一个负面实验之后就放弃了。

相反,他们选择了优化选项,该选项的转换率比对照组高0.5-1%,并且从长远角度看,当新设计的性能较差时,他们会感到惊讶。

如何正确解释A / B测试结果:如果假设的效果更差或没有差异,则A / B测试可让您按时查看,并节省了对海外应用页面的实时版本进行更改所花费的金钱。分析负面结果,以确定未来实验的方向。

如果您尚未达到置信水平或样本量太小,那么正面结果可能会产生误导。此外,如果A / B实验显示出细微的差异,则不能保证实时更新的商品详情会带来转化。

与其强调有争议的获胜者,不如着重强调获胜变化的特征并进行后续实验。

5.海外应用开发人员认为A / B实验只是一次动作
在考虑A / B测试时,开发人员不会考虑季节性购买习惯,人口变化,市场变化,产品和竞争对手变化等因素。但是,它们在不同时间点都会对结果产生重大影响。

此外,促销活动不仅限于Facebook上以事件为主题的广告和社交媒体上的帖子。海外应用商店优化(ASO)也代表着利用所有增长机会(赠品,假期等)在海外应用市场上领先于竞争对手。

以万圣节为主题的广告素材能否大大提高转化率?在描述中包含有关假日折扣的信息会有什么影响?你测试。

A / B主题转换率
替代方法:海外应用程序A / B测试始终是一个持续的过程,在此过程中,您将保持快速前进并随行进行优化。由于总有优化的余地,即使您对结果满意也可以继续进行测试。

A / B测试愉快!

分享是关怀!随意分享此帖子,了解移动海外应用或游戏开发人员A / B测试策略失败的原因。谢谢!

发表评论

邮箱地址不会被公开。 必填项已用*标注

友情链接:海豚岛/ 跨境电商外贸论坛/