成功实验的隐性成本

“快速行动，打破常规”曾是关于创新的流行口号，但是过去十年来却不再受青睐。科技公司转而更喜欢“持续实验”。无论我们如何描述这个概念，目标都是一样的：实现由数据驱动的快速迭代。无论是测试按钮的颜色还是算法的性能，只要公司进行的实验越成功，它创造的新增长和效率的机会就越多。

但是成功的实验并不都是相同的。一些实验在短期内似乎导致积极的变化（例如，带来更多利润、保留客户等），但在实际上却使公司的运作更为复杂。这会增加进一步改进系统和开展未来实验的难度，减缓了创新的动力。

“根本问题是‘行之有效’意味着什么？”凯洛格学院运筹学助理教授Sébastien Martin问道。“现在，它对我和我的客户可能是件好事，但是长远来看，它会影响我的创新能力吗？”

为了探究实验驱动型公司的隐性成本，Martin与同样来自凯洛格学院的Yudi Huang以及Lyft前首席科学家Zhiwei Qin合作，创建了一个数学模型，以探讨在公司内部进行变革的复杂性。他们发现，随着时间的推移，这种复杂性造成的摩擦会累积，就像债务的利息一样。换句话说，将会越来越难发现每个成功的变革，需要更复杂、更耗时的实验，并且这些放缓常常无法察觉。

然而，研究人员也发现，当公司的复杂性达到一定程度后，就不再值得抵制了。因此，尽管实验的速度更慢、频率更低，但实际上，即使实验的回报减少，积累更多的“复杂性债务”也是值得的。Huang解释道：“在这种情况下，唯一的解决方案通常是从头开始重建，而不是试图避免额外的复杂性。”

Martin承认：“这种模型看似违反直觉，它凸显了一个几乎无人谈论的影响。”

对于那些在实验上投入大量资源的科技公司来说，了解这种经常被隐藏的实验效果特别有价值。Martin说：“科技公司拥有专注于实验的庞大团队；成功的实验往往使员工获得晋升。但是判断某件事是否长期‘有效’，却是非常棘手的任务。”

成功的隐性成本

Martin对于这种困难有亲身体会。2020年，他在Lyft担任研究员期间，帮助测试了一种新型强化学习算法，用于匹配司机和乘客。

“进行这些实验的成本非常高，但是绝对值得，”他回忆说。“它增加了司机的收入，也让乘客更满意。我们实验仪表板上的所有指标几乎都是绿色的。”2021年Lyft在全球部署了新算法。一切都行之有效，但是果真如此吗？

Martin说：“我意识到，做出如此复杂的改变时，会使公司其他团队的创新变得更难，也会增加实验过程本身的难度和成本。”

首先，拥有一个会随着时间推移而自行调整的复杂机器学习算法，意味着找到下一个实验想法会变得更难，也更难实施。Martin解释道：“我必须预测这个超级聪明的算法会对我想要测试的东西做何反应，因此凭直觉判断的想法是否明智会变得更难。”

此外，复杂的系统性实验不像A/B测试按钮颜色那么简单。就像一块大石头掉进湍急的溪流中一样，Lyft的新算法可能会以出乎预料的方式改变整个系统的流程。因此，唯一的测试方法就是将其开启，让每个人观察会发生什么，然后再将其关闭并比较结果。这些所谓的“折返实验”必须在更长的时间内重复多次，才能产生可靠的结果。

Martin意识到这些实验带来的复杂性债务可能会阻碍未来的创新努力，但是他不能确定。“在实验过程中几乎无法衡量。我开始怀疑自己。这引发了一项有趣的数学练习。”

建模权衡

与技术债务一样，公司内部的“复杂性”难以衡量，因为它很难定义。

“它的涵盖范围很广，包括官僚主义、软件、深度，”Martin说。“对于我们而言，复杂性只有一个含义：复杂性越高，公司进行成功实验的概率就越低。”

利用这个复杂性的定义，Martin和他的共同作者对一家公司如何随着不断的实验而变化进行了模拟。他们根据两个关键量来评估这家理想化的公司。第一个称为利用率，代表公司试图通过实验最大化的主要指标，如利润或用户参与度。第二个代表复杂性：复杂性越高，实验的速度就越慢。

如此一来，权衡就相对简单了。随着时间的推移，成功的实验会提高公司的利用率——就像Lyft的新算法提高了收入、参与度和效率。与此同时，成功实验所带来的任何变化要么增加其复杂性，要么保持不变。

设置陷阱

在分析了模型的行为之后，研究人员发现复杂性确实是一个真正的问题，会以三种独特的模式或“陷阱”来表现。

第一个陷阱是，复杂性债务的负面影响没有上限；它只会不断增长，永远不会停滞。Martin说：“如果你只是不断地实施改变，一味地盲从成功的实验结果，那么情况会变得多糟也没有止境。”

当公司的复杂性债务开始自我强化时，则会发生第二个陷阱。在该模型中，公司可以做出选择，以防止复杂性进一步恶化。然而，在复杂性达到一定程度之后，即使这种方法也变得毫无意义：对于高度复杂的公司来说，最佳选择是继续实验，并积累更多债务。

为什么？因为短期内管理复杂性的成本高昂，但从长远来看却有益。

“上市公司的投资者最多只关心未来五到十年的情况，”Martin解释道。“当你的公司规模很大，复杂性很高时，改进就很少发生。因此，你会有更大的动力争取任何改进”，而不考虑长期的复杂性成本。

但是复杂性较低的公司（如初创公司）应该特别小心陷入这种情况。与成熟公司相比，这些公司往往更关注短期收入和增长，因此特别容易陷入第三个陷阱，即他们觉得需要加快实验。这是科技初创公司经常面临的困境：因为他们必须向投资者展示相对快速的增长，从而获得下一轮融资，所以他们倾向于进行“贪婪”的实验，将复杂性提高到阈值，或甚至超过。等到他们真正开始增长时，其复杂性债务已经达到了临界点。

Martin指出：“初创公司与上市后的公司截然不同。任何似乎有助于增长的改变都应该付诸实施，否则你就会灭亡。”

没有免费的午餐

那么，复杂性及其对实验和创新的潜在影响，是否就像死亡和税收一样不可避免？

或许如此，但Martin警告我们不要过度解读单一数学模型的行为。“我们的论文旨在强调实验背景下的某种效应，让人们开始更清楚地思考。当你试图解决一个问题时，意识到这个效应就是成功的一半。”

Martin补充道，与许多公司的看法相反，持续实验并不能保证持续改进。“根据我在科技界的经验，我认为这个想法会引起很大争议。”

但其实不必如此。所谓的“退化实验”就像是反向的折返实验，测量一个看似积极的变化暂时逆转时会发生什么。Martin说，如果没有有害影响，也许可以永久逆转这种变化及其导致的复杂性，因为“系统已经进化”，不再需要这种变化。至于在其他由实验驱动的行业，如制药业，往往是讲求研究长期结果，而不仅是短期影响。

Martin说：“科技界需要更多这样的思维。它让人们意识到，改变可能是暂时的，因为它们可能需要代价，而逆转或者至少重新评估，也是可取的行为。”