一说起A/B测试，相信很多产品经理都对这个名称不陌生，他们会拿出一副看外星人的眼光，心里默默的说：“太out了吧，这个概念又不是什么新概念。”诸位别急，就像那本经典的书名说的：你以为你以为的就是你以为的吗？

 

转载｜吆喝科技

 

一位资深旅游行业项目经理讲诉了他的无奈：

 

我最早入行的时候，在一家外包做网站的公司，我作为项目经理，公司分配我服务一家大型的国有旅游集团，这家公司成立早，在业内非常有名，主要做的是入境游业务，当时国内的线上旅游产品不像现在这么百花齐放，这家公司占据了入境游60%以上的业务。坦白讲，我接到这样的项目内心是无比激动的，做了无数的竞品分析，推翻N多次的产品原型，而这家企业也不像传统的央企，可能是因为涉外较多，他们的思路很开放，很多专业的意见他们也会接受，双方配合的很默契。

 

做过网站的人都知道，项目中第一个重要的里程碑就是首页设计稿，首页设计稿决定了全站的设计风格和调性，又是一家网站的“门面”，因此该企业对首页设计稿的设计是万众期待，不仅仅是领导，还有所有员工，都对这次网站首页十分的期待，这种情绪感染了我，我带着设计团队不眠不休的干了一周，出了三版设计方案，摆到了领导的桌前。

 

领导看到我们的成果，首先表扬了我们的工作态度，此处省略一万字，然后在拍板做决定的时候，领导真的是为难了，并不是他不知道选哪个，而是他不敢选，因为他很清楚公司上下对设计稿的期待，更清楚外界对本次网站改版的关注，毕竟该企业在中国入境游领域的话语权分量很重。

 

领导看了我一眼，说，要不，让下面的人一起看看？我当时头就大了，下面那么多人一起看，一人提一句意见，一人提一个想法，做过乙方的都知道，我们的设计基本上就会重新推翻，我们一周的努力基本上就付水东流了啊！为了不让兄弟们的辛苦白费，我建议领导让所有人在三版设计风格中进行投票，决定设计风格走向，票数多的那个就作为最终的设计风格，并且冠上了一个“A/B测试”的名头，让领导觉得这件事的科学性和严谨性。

 

三版设计，A版本在整个设计中演绎了该企业的LOGO，最大的特点是更国企，如果各位不明白，请参照中石油官网；B版本我们用了大量的风景图片，最大的特点突出其“入境游”的旅游特性；C版本是我们推荐的版本，使用了颜色绚丽的设计风格，并且手绘了一个熊猫的卡通图形，整个网站的风格更加偏向国外旅游网站，因为毕竟这个网站的受众是外国人。我们一致认定，C版本必胜！但是，投票当天的结果大出意料，最后A版本选票最多，因为这家企业的员工都认为，既然是做自己企业的网站，那就必须围绕自己的企业做文章。

 

这件事回过头来看，其实发现当时做的A/B测试实在是称不上科学的实验，因为犯了以下几个错误：

 

1. 采样不准确。在A/B测试中，采样是一件很重要的事情，如果采样不准确，那整个实验就算是有结果，其结果也是不准确的。什么是采样的准确？就拿上文中的例子，我们的采样就是该企业的员工，这些员工首先不是网站的受众，其次他们看问题的角度会有局限，我们想当然就把员工的想法等同于用户的想法，而这个网站的用户都是黄头发蓝眼睛的外国人，想法差距就更大了。

 

2. 样本数量太少。该企业的入境游业务占了中国入境游的半壁江山，而他们的员工只有200多人，200多人的样本不能完全代表全流量的用户，就像我们不能说抛十次硬币如果8次正面，2次反面，我们就说抛硬币的概率就是80%的正面，这很可笑。

 

3. 实验变量太多。科学的A/B测试为了保证实验的准确性，在变量设置上不会很多，很多时候就是改动一个按钮的颜色，或者是一句文案的改变，就是为了尽量减少变量对数据结果的影响，如果变量太多，那就算有实验结果，作为实验设计者也并不清楚，到底是哪个变量导致的数据变化。

 

4. 实验结果分析。做A/B测试不是全民投票，票数决定一切。A/B测试的结果要经过统计学的分析，结合正态分布和随机变量等计算得出的结果才是可信的。

该内容由环球旅讯原创，版权归环球旅讯所有。以商业目的使用该内容，请联系环球旅讯获得授权许可；非商业目的使用，请注明出处。