Meta分享:为Quest开发者提供A/B测试,显著提升App购买转化率

查看引用/信息源请点击:映维网Nweon

帮助游戏开发者进行评估判断,验证假设,并选择效果最好的版本

映维网Nweon 2022年08月22日)通过详细信息页面PDP的两个版本并比较两者之间的转化,A/B测试是提高应用总转化率的有效方法。Meta在6月为Developer Dashboard新增了一个A/B测试工具,从而允许开发者就各种PDP asset进行A/B测试。

日前,团队整理了 《FitXR》、《Synth Riders》、《Vacation Simulator》和《Spacefolk City》这四款作品的测试情况:

  • 《FitXR》(F2P):Cover Art宣传图片测试,转化率增加11.8%

  • 《Synth Riders》(24.99美元):宣传视频测试,转化率增加26.5%

  • 《Vacation Simulator》(29.99美元):Cover Art宣传图片测试,转化率减少5.5%

  • 《Spacefolk City》(24.99美元):宣传视频测试,转化率减少29.7%

结果表示,A/B测试可以帮助游戏开发者进行评估判断,验证假设,并选择效果最好的版本,从而实现营收提升。例如,《FitXR》比较原宣传图片和测试宣传图片后发现,测试版可以将转化率增加11.8%,所以应该选择新的测试宣传图;《Vacation Simulator》同样比较了宣传图片和测试宣传图片,而他们发现测试版可以将转化率减少-5.5%,所以应该继续沿用最初的宣传图片。

同样,《Synth Riders》发现测试版宣传视频比原宣传视频的转化率增加了26.5%,所以应该采用测试版宣传视频;《Spacefolk City》则发现测试视频比原宣传视频的转化率减少29.7%,所以应该继续沿用最初的宣传视频。

A/B测试工具目前允许你测试受众在Quest Store中看到的三个PDP变量:

  1. Cover Art宣传图片

    • Square:跨平台显示的1:1静态图像,用于宣传你的应用程序。

    • Landscape::跨平台显示的16:9静态图像,用于宣传你的应用程序。

  2. 描述

    • 短描述:在整个平台显示的500字限制描述,主要是在VR中显示。

    • 长描述:在整个平台显示的1000字限制描述,包括Meta Quest Store。

  3. 宣传视频

    • 显示在应用PDP最上方的视频。

    • 包括缩略图。

1. A/B测试:双赢方案

Meta的研究表明,用户并不完全熟悉Quest Store的众多应用和游戏。所以要吸引受众并快速建立熟悉度,你的Store asset非常重。选择“完美”asset可能像是一个高风险的过程。但通过A/B测试,你都可以清楚地了解asset如何影响PDP流量和转化。

《Synth Riders》的宣传视频测试令转化率增加了26.5%。测试版本包括一首新的爵士乐歌曲,并通过第三人称视角来突出游戏玩法。原始宣传视频则以古典乐器,并高度强调第一人称视角。

Kluge Interactive是于2019年发行了《Synth Riders》。A/B表明,新asset可以吸引观众的注意力,从而为旧应用注入新的活力。这种吸引力的提高可能会提高转化率,并带来营收方面的大幅增加。显然,A/B测试是你增加受众的一种相对快速和简单的方法。随着虚拟现实生态系统的扩展,A/B测试同样有助于提高应用的曝光度。

无论结果如何,A/B测试都能提供价值。对于Beyond Frames Entertainment,《Spacefolk City》的A/B测试表明,用户对他们正在测试的新宣传视频反应不佳。测试版本的宣传视频缩短了约30秒,并且提供了新的和更频繁的信息,深入介绍预期的玩家旅程。

与最初的宣传视频相比,测试版本导致转换率下降29.7%。这一结果有助于防止在未进行A/B测试就发布新宣传视频而造成的损失。这次测试同时表明,比起宣传视频中的信息,用户更喜欢看到游戏画面。

A/B测试可以帮助你获得大量有用的见解,更重要的是,一个不太有效的测试asset可以验证你现有的策略,并为新的假设和迭代打开大门。尽管测试视频导致了转化率下降,这可能表明你当前的宣传视频已经十分有效。又或者,你可以继续尝试新的测试视频。

2. 值得信赖的结果为你的策略提供参考

结果只有在准确的情况下才有价值。只有当你的asset积累了足够的流量,并且两个asset之间的转化率保持在小于5%的错误率或95%的置信区间时才能实现统计显著性。为了帮助确保你的结果可以归因于asset而不是外部因素,目前在任何给定时间只能测试一种类型的PDP变量。

A/B测试最多运行30天,但它们在短短7天内就可以生成具有统计意义的转化结果。测试的结果选项卡同时显示各种指标,而审查它们有助于指出哪些asset可能是最有价值的测试。

例如,Cover Art宣传图片通常是人们在Quest Store看到的第一项asset。如果Reach触达性较低,你可以测试新的Cover Art宣传图片,看看是否能够提高PDP的曝光度和访问率。如果Reach触达性很高,但转化率很低,对宣传视频或描述进行A/B测试可以帮助确定哪些资产影响人们购买和/或下载你的应用。

3. 假设、测试、反思:修改和重复

为了减少测试达到统计显著性所需的时间,我们建议创建与原始测试明显不同的测试asset。话虽如此,你不需要放弃你的创作方向,即使细微的差异都会导致转化率的巨大变化。

《FitXR》就是一个很好的例子,开发人员从Cover Art宣传图片中删除了“免费试用7天”,使转化率提高了11.9%。了解asset对人们行为的影响是一个永无止境的过程,有时选择从小事做起可以与彻底检查整个asset一样有效。调整asset中的一个或两个变量可以帮助明确哪些因素导致转化率的变化。

另一方面,A/B测试的一个优点是,它可以允许你尝试更大胆的创造性调整,同时最小化风险。在《Vacation Simulator》的Cover Art宣传图片测试中,Owlchemy Labs保留了应用的签名徽标,但大幅改变了整个配色方案、背景环境和图像中的对象。他们同时对消息传递进行了实验,选择在测试asset中突出显示DLC,而不是产品更新。

所述变化导致转化率下降了5.5%,但A/B测试允许Owlchemy Labs尝试新的方案并从中学习。

根据你的目标,你可以选择向Quest Store中10%、25%或50%的受众展示测试asset,从而收集关键见解,同时减少负面结果。

为了从测试中获得最大价值,请使用测试结果更新假设并尽可能具体。从Owlchemy Labs的结果可以推断出很多情况。他们认为观众更喜欢原版的美学,或者观众因为突出显示的手部追踪更新而对购买应用感到自信,或者测试asset中的“Back to Job是时候上班啦”一词阻止了人们购买应用程序。所述问题都可以通过进一步测试以进行调查。

正如《Guided Meditation VR》的开发者所言:“这个工具设计简单,易于使用,同时又可产生强大的效果。它将极大地帮助我们的应用程序最大化吸引力。”

4. 开始A/B测试

所有在Quest Store发行应用的开发者现在都可以访问Developer Dashboard中的A/B测试工具。选择你的应用并导航到左侧的“A/B测试”选项卡。在这里,你可以查看测试结果,并管理即将进行的、正在进行中的和已完成的测试。

A/B测试需要在应用发行前提交并审查。在审查期间,Meta可能会要求你对提交内容进行更改。请注意,每个应用一次只能运行一个A/B测试,并且在测试进行期间你不能发布其他应用元数据更改。为了帮助你管理A/B测试,自动电子邮件将通知你请求的更改、测试批准、统计重要结果和测试完成情况等信息。

更多信息请访问这个文档

本文链接https://news.nweon.com/100004
转载须知:转载摘编需注明来源映维网并保留本文链接
入行必读AR/VR——计算机历史第二次大浪潮
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供

更多阅读推荐......

资讯