谈谈游戏做A/B Test的误区

文/Eric Benjamin  编译:GRG

最近关于Zynga如何运营的一些有趣见解出现在了社交新闻站点Reddit上，发表的人正是上周被解雇的520名员工中的一员。我想特别说下其中的两篇帖子。

帖子1：在游戏方面，我认为他们关于拉取所有玩家行为数据的整体概念是非常了不起的，但他们对此的依赖也不是那么惊人。它使开发非常善于分析而且更直观，很容易就可以知道一个游戏哪里是有趣的。尽管难点在于如何拉取关于他们的行为数据

帖子2：在某些时候,该公司似乎从真正尝试创新切换到尝试“之前的工作方式”。我不确定有多少游戏在过去的一年里真正做过a / b测试来发现新的乐趣和受欢迎的点。公司擅长数据收集、数据分析以及游戏心理学的理解可以帮助我们改进游戏体验。

Zygna似乎遭受了A / B测试的隐性成本。

A / B测试的显性成本是显而易见的：A / B测试需要时间来设计，实现和评估，这种时间代表了一种机会成本,表明在这段时间里可以进行其他各项工作的收益(注：机会成本又称为择一成本、替代性成本。机会成本对商业公司来说，是利用一定的时间或资源生产一种商品时，而失去利用这些资源生产其他最佳替代品的机会就是机会成本。来源;百度百科)。A / B测试的显性成本常常被引用为不进行全面测试的理由,但是我相信这些成本一般来说都是过分夸大。

如果需要大约30分钟以上来设计和实现一个A / B测试,那么，说明该组织还没有专门足够的分析基础设施资源来通过一些内部工具进行A / B测试。它本身并不是一个问题：像DataEye这样的产品存在就是为了通过提供“分析服务”来减轻开发人员的负担。

一个真正的数据驱动的组织是处在一个永久A / B测试和优化的状态。在这样一个组织A / B测试的机会成本是微不足道的。

然而，A / B测试的隐性成本却有着更大的影响。A / B测试隐形成本的产生是因为一个产品团队过度依赖迭代、增量改进。而这种过度依赖会将产品牢牢绑定在基础结构以及产品现有缺陷之上。

渐进式改进并不是完全不重要：通常在某个过程当中还是会以百分比的方式增长，比如，游戏的登录页转化，总体收入，会话时长都会得到一些增长。这个图表是经历10%的周期增长率的一个过程:

但是对这种持续的测试优化使一个团队不能集中精力于他们产品的真正的问题。这不是机会成本(即“我们应该选择进一步的A / B测试还是修复产品的结构性问题?”)，而是不去识别或考虑核心产品的弱点，因为大家认为改进是包治百病的灵丹妙药。这个图表是经历10%周期增长率后下降:20%的过程。

A / B测试的隐性成本并不体现在误用资源, 他们体现在科学数据可以取代产品开发的想法。A / B测试失败的产品就像带着枪伤去健身：该做的没做好，最终也是徒劳。

存在数据问题的厂商其实是放弃了真正宏观层面问题的处理，让位给了微观过程的改进，其实并未解决产品的根本问题，反而在某种程度上加速了问题的扩散速度。

A / B测试是一种工具,而不是一个产品开发战略,它应该被用来给那些已经获得一定成功的产品带来更大的优势，而不是让他们以为自己对产品的直觉是错的