专家还是骗子？

在古希腊当人们面对有关于未来的问题时就会请教特尔斐Delphic神谕。如今当人们有关于诸如未来的股票行情、能量趋势、球赛比分甚至下周天气的问题时就会去咨询那些领域的专家。很多专家基于自己的专业知识给予解答。但是有些人利用聪明的营销手段、伪科学以及谨慎刻化的语言来进行预测而不是基于他们对所预测领域的真正了解。那些人过分习惯于用预测的技巧来维护自己的名声因为要区别冒牌的专家和真正的专家实在是太难了。但是尽管如此Kellogg 团队研发出了一种可以在某种特定情境下精确区分他们的测试。

Alvaro Sandroni 说“我们的测试对象是那些真的见多识广以及不学无术的专家”。他是管理经济学与决策科学(MEDS)的教授他和 MEDS 的教授 Nabil Al-Najjar、MEDS 的副教授 Jonathan Weinstein 以及 Israel’s Technion Institute 的副教授 Rann Smorodinsky一齐从事该项目的研究。“如果你了解正在被测试的内容你将会通过测试。但是如果你不了解我们不能说你一定通不过测试但不能为你的通过打包票。”

Sandroni 接着说“这是我们研究议题的一部分而这个研究议题乃基于一个简单的问题我们如何知晓专家拥有而我们却不了解的信息以及我们如何知晓科学是否基于某种事物然后对事物做出超乎正常理解范围的解释呢”Weinstein 补充说“评价专业知识非常重要我们必需能知道谁是值得信赖的。”

Al-Najjar 把这项工作应用到了更为广范的领域。他说“这一测试的本意是为了了解可被检测和不可被检测的知识之间的界线。这是研究此问题的第一篇论文它提示出就信念的结构上给于限制使这些信念可被检测。”

令人吃惊的研究结果
这项研究针对测试专业知识展开了一系列的探讨并得到了如团队的论文中所描述的“最震撼并且最惊人的研究结果……任何合理的测试都可能被操纵。”测试结果和直觉可能是相背离的但研究者普遍认同了这种测试。Sandroni 总结说“通过使用或然性的语言来掩饰自己的绝对无知是有可能的而展示那种无知是相当困难的。当你的表现只剩下无知时给人的印象只能是冒牌专家了。当然要想取得成功你必须用特殊和独特的方式十分小心并且精确地来完成它。”

Weinstein 向即将参加测试的专家们指出了测试结果的含意。他说“其含意是我们不可能拥有一个完美测试的完美世界然而测试还是能够在某些条件约束下成为可能。”Kellogg 制定出既不过分严格也不过分容易的限制条件然后开#22987;让专家接受测试。

Weinstein 说“我们假定了最糟糕的情况冒牌专家非常了解本测试也知道如何操纵它我们假定这种人的存在。但是我们了解其中有着一条分界线如果测试过分严格真正的专家也会失败但如果测试不够精细那就会让冒牌的人通过测试。”

学习力和预测力
用标准数学工具研发出来的这个测试依靠两种主要现象来做判断学习力和预测力。Sandroni 说“我们把预测结果和实际上发生的事情拿来进行比较基于此我们试图探究预测者是否知道有关他即将预测领域的相关知识。”Weinstein 罗列了测试过程的细节。他解释说“首先我们让被测试的专家在某一预先设定的时间内学习一些他们即将要预测的方面的知识这是学习力。当规定的时间到了他们必须做出能够被印证的具体的预测比如大约 50 天后市场将上行 80%这就是预测力。”

测试团队在他们的论文中总结了两点要求。研究者解释道“其中一点是 [专家的] 理论必须使他的预测可以被印证。”Sandroni 说“此外专家必须基于各种因素对他们为何预测这样或那样给予合理的解释。然后他们的数据被用于特定点而那些因素也被分别测试。通过使用数据按照通常的科学程序来确定使其做出预测的核心元素而当确定了核心元素后再使用更多的数据来证实这些因素的可信性。重点在于在这个特定的情境中我们的测试绝不能像其他有些易被操纵的类似测试一样被操纵。”

正如 Weinstein 在对于市场行情预测的示例中所显示的专家们被要求做出可能性预测而不是简单地回答“是”或者“不是”。天气预报员做出他们的预测通常他们都是用下雨、下雪、晴天或者各种气象的可能性百分比来完成他们的预报。Sandroni 说“这已逐步成为现今在其他诸如政治分析、医疗研究以及体育赛事赌博等任何领域咨询时常见的解答方式。”测试中对于百分比的要求进行了自动限定它需要 Weinstein 所称的“相当长时间内重复的数据流”——持续不断变化的因素诸如影响市场的金融信息或因为伤员报告和比赛当日天气情况而变化的得分范围。

留多少余地
诸如此类的限制增加了新测试的价值。Sandroni 指出“限制越多要想操纵这项测试就越困难因为你要用某种特定的方式来操纵它。但是测试也给了测试对象某种程度的自由。”Weinstein 说“我们试图使人们相信即使他们不是很精确也能做出准确的预测。我们必须给他们留有余地问题是要留多少余地。”

Sandroni 强调说“本测试的重点主要集中在那些打算用假装的表象来显示他们的预测技术的人。诚实的不学无术的专家很容易就能与诚实的见多识广的专家区分开来。我们专注于那些靠策略性预测来维护其虚伪名声的不诚实的冒牌专家。”

该研究项目要传递给读者怎样的信息Weinstein 说“如果我们能对专家所须的学习时间以及他所预测的精确性做出具体的要求那么我们就能区分冒牌专家和真有能力进行预测的专家了。”Al-Najjar 着重研究该项目对于公司和其他机构的影响。他解释道“确定的和弹性的之间的紧张关系已得到哲学家和战略家的公认。这篇论文所包含的更高级的信息是这种紧张关系根植于测试和学习问题。测试个体的基本结构以及在不断变化环境中的学习能力对于一个充满活力、适应性强的组织来说至关重要。”