公司如何能从网上评论中挖掘出产品开发黄金

消费产品很少保持在静止状态；它们会根据消费者的需求不断变化。

以电动剃须刀为例，大约在一个世纪前，首批问世机型中的电动剃须刀Vibro-Shave进入了美国市场。这种以男女通用为营销诉求的剃须刀有一个能将刀片左右移动的震动手柄。同时，使用者还能将剃须刀端部换成按摩头，来“抚平”皱纹。

不用说，剃须刀经过这些年已经改变。

那么，产品开发通常是如何发生的？长久以来，公司依赖市场调查来确定顾客如何使用公司的产品，以及顾客是否有潜在需求可以通过新功能或创新来得到满足。传统上许多这类调查以访问顾客或焦点小组的方式进行，顾客分享自己如何使用产品，喜欢产品哪些地方，不喜欢哪些地方。然后公司集中这些反馈，确定顾客需求是否得到满足，并根据这些知识采取行动。

然而访谈和焦点小组不仅昂贵，而且可能需要耗费大量时间，凯洛格学院营销学助理教授阿坦·提莫申科表示。他说：“让新剃须刀比你的竞争对手早半年上市会让你占有优势。”

于是，阿坦·提莫申科和他在麻省理工学院史隆管理学院的同事约翰·豪瑟希望知道从现有的顾客反馈收集到类似的顾客需求洞见的可能性，这些反馈包括来自亚马逊网站上的评论或社交媒体数据的用户生成内容。

他们提出两个具体问题：第一，专业市场研究分析人员能否从这些顾客评论中提炼出有用信息？第二，机器学习算法能否让他们更有效地完成这项工作？

挖掘产品评论

针对第一个问题，研究人员与一家名为Applied Marketing Science, Inc.，即AMS营销咨询公司合作。这家公司在市场调查和顾客需求发掘方面拥有20多年的经验，最近刚为客户进行过一项关于口腔护理产品的顾客需求访谈调查。

提莫申科解释说：“从公司和研究观点来说都很方便”，因为牙刷是相当标准的产品类别，而且是有着众多亚马逊评论的商品。此外，AMS对研究人员提出的问题感到兴奋，迫不及待想要携手合作。

说到口腔护理产品，许多顾客报告的需求相当直截了当：产品需要保持牙齿洁白，保持牙龈健康，而且不会破坏以前的补牙或假牙。但其他顾客则可能提到不容易预料的需求，例如想知道进行口腔常规护理时各部位需要的护理时间。这可能会带来产品创意，例如在固定时间间隔发出哔声、或是几分钟后自动关机的牙刷。

AMS进行的这些体验访谈揭示出顾客对于口腔保健产品的86项不同需求，这个数目对此产品类别而言很正常。分析这些顾客需求的目的在于找出隐藏的宝石，即非常重要但现有产品未能充分满足的需求。

为了确定营销人员能否从用户生成的网上评论中收集到与从访谈与焦点小组中收集到的相同顾客需求信息以及潜在的隐藏宝石，研究人员从亚马逊网站上随机选出一些有关口腔护理的产品评论，并将其提供给AMS分析师。这些分析师不是之前收集或分析顾客访谈的那些人，但接受过类似培训。每一则评论均完整呈现给分析师，这些评论总计有一万两千句，相当于分析师审阅20至25份标准体验访谈内容文本所需的时间。

开始进行研究之前，提莫申科和豪瑟认为亚马逊网站上的评论可能比传统的顾客访谈有更大的优势。例如，它们或许能接触到无法参加焦点小组的顾客群。

提莫申科说：“可以想象，如果一家公司位于波士顿，那么最有可能访问到的是波士顿人，而其他地区的人可能有不同的产品体验和使用模式。”

另一个可能的优势是顾客往往在用过产品后立即上网写评论，而焦点小组的参加者可能在用过产品一、两个月后才接受访问，这时早已忘记他们使用体验的关键部分。

不过，研究人员也怀疑网上评论可能有一个重大缺点。具体而言，“许多研究显示网上评论倾向于极正面或极负面，因此我们可能会遗漏掉一些通常以更加中性的语言表达出来的顾客需求。

例如，“牙刷确实能清洁牙齿”这个事实是一项重要但不会让人感到兴奋的用途，顾客或许在评论时根本不会提起。这是一个大问题，因为清楚说出所有顾客需求才能帮助产品管理团队找出新产品开发机会，即使有些顾客需求在事后看来平凡无奇。

那么，研究人员有哪些发现？首先，在访谈和焦点小组中确定的顾客需求几乎能够全部（97%）在亚马逊网站上的评论中找到。

“这立即证明，至少对于某些类别，我们能够完全不需要进行访谈和焦点小组，而那些正是客户需求市场调查中最耗时的部分。”提莫申科说道。

第二个发现是亚马逊网站上的评论包含8项额外的顾客需求（接近总数量的10%），这些需求并未在访谈中提及。这些需求和顾客在访谈中提到的需求在实质上并无差异，它们对顾客来说似乎同等重要，对未来的产品开发也很有用。这表示分析用户生成的评论可能对客户需求提供了更深入详尽的洞见。

提莫申科推断，如果以前进行了更多次访谈和焦点小组，这些额外需求最后也会显现出来。“然而增加一倍的访谈次数，在时间和金钱上都会比增加一倍的网上内容审查昂贵的多。

帮助人类的机器

接下来，研究人员尝试了解是否能用机器学习来提升人类分析师的效率。具体来说，他们建立了一个算法对评论进行“预筛选”，滤除那些帮助不大的评论，以便分析师能更有效地运用时间。

研究人员训练出一种算法，以两种方式对评论进行预筛选：去除非信息性的句子，以及减少冗余的句子。非信息性句子，例如“我儿子喜爱这个产品”，占了语料库中几乎半数的句子。虽然它们是完全合理的情绪表达语句，但却不会带来产品创新。冗余的评论也同样大量出现在语料库中，反复提及同样的缺点或优点。

研究人员发现，用他们的算法进行预筛选后，分析师得以在减少大约20%的语句中找到相同数量的顾客需求。

“这是概念验证。”提莫申科说。他相信，随着更多经验和工程技术，效率将持续提高，如同传统访谈市场调查经多年实践后能做出改进一样。

因此，研究人员开放程序代码供各公司任意使用，并希望知道不同行业的公司如何进一步开发与应用这些程序代码。

例如，一家从事食品业的公司采用研究人员的方法后，发现他们从网上评论和社交媒体数据中搜索出的客户需求截然不同。

提莫申科指出，这充分显示出一项事实，就是从多种反馈渠道来看，未来对机器学习工具的需求只会有增无减。

“预处理这些信息的需求甚至会更多。因为一个特定产品就有数百万条亚马逊评论，如果再想结合其他来源的社交媒体数据和网上评论，需要处理的内容量即会暴增。因此，机器学习就变得非常重要。”他说道。

始料未及的益处

研究过程中，提莫申科和豪瑟发现，分析用户生成内容与传统的访谈和焦点小组相比，还有另一项出乎意料的好处，就是能够能够“跟踪”有意思的顾客评论或需求，以便深入挖掘。

他解释道，进行传统访谈时，“你没有机会把同一个受访者找回来谈谈这个体验。机会是一去不复返的。”

用户生成内容则能让你进一步探索。当你想到一个有趣的线索，你便可以回到含有几千条评论的语料库中搜索更多线索。“不要去找同一个顾客评论，而是搜索关键词或是某个特定短语，或是特殊体验。”提莫申科说道。

总的来说，他希望营销人员了解，机器学习可以是一个强大的工具，不仅能取代人类智能，还能扩大人类智能。

“这项研究的重大突破之一是我们一致同意‘机器学习不能解决这个过程的所有挑战’。”提莫申科说。“大多数人想到机器学习时，都会去寻求完全自动化的解决方案。人类在某些任务方面似乎天生比机器做的更好。而在可预见的未来，人类将继续保持这种优势。确立客户需求正是这些任务中的一项。”

顾客或许会说，“我不喜欢这把牙刷，因为它没有30秒计时功能。”然而该顾客的潜在需求是想要知道平常刷牙时在不同部位应各花多少时间。

“这是非常抽象的。顾客真正想要的东西是非常概念化的。因此这一步由人来执行比较好，因为人能够真正懂得同样身为人类的其他顾客的体验。”