Experte oder Scharlatan?

Wenn die alten Griechen Fragen zur Zukunft hatten, wandten sie sich an das Orakel von Delphi. Heute wendet man sich beispielsweise in Fragen zu zukünftigen Aktienkursen, Energietrends, den voraussichtlichen Ergebnissen der Fußballbundesliga und sogar zum Wetter der nächsten Woche an die Experten auf diesen Gebieten. Viele dieser Experten stützen sich mit ihren Ratschlägen auf wissenschaftliche Überlegungen. Aber einige verlassen sich auf geschicktes Marketing, Pseudowissenschaften und sorgfältig abgestimmte Voraussagungen statt auf ein echtes Verständnis dieser Fachgebiete, zu denen sie Vorhersagen abgeben. Allzu häufig sind diese Personen in der Lage, sich ihren Ruf als Vorhersager zu bewahren, da es erstaunlich schwierig ist, den Unterschied zwischen echten und Schein-Experten festzustellen. Aber jetzt hat ein Kellogg-Team einen Test entwickelt, der unter bestimmten Umständen genau dies kann.

„Unser Test prüft sachkundige und unwissende Experten“, sagt Alvaro Sandroni, Professor für Managerial Economics und Entscheidungswissenschaften (MEDS, Managerial Economics and Decision Sciences), der zusammen mit Nabil Al-Najjar, ebenfalls Professor für MEDS, Jonathan Weinstein, Extraordinarius für MEDS, und Rann Smorodinsky, Extraordinarius am Technion Institute in Israel, an diesem Projekt gearbeitet hat. „Wenn Sie wissen, was sich ereignen wird, werden Sie den Test bestehen. Wenn Sie es nicht wissen, dann behaupten wir nicht, dass Sie versagen, aber es gibt keine absolute Garantie dafür, dass Sie bestehen werden.“

Sandroni fährt fort: „Es ist Teil einer Forschungsagenda, der eine einfach Frage zugrunde liegt: Wie wissen wir, ob ein Experte Informationen besitzt, die wir nicht haben, und wie wissen wir, dass Wissenschaft auf etwas Realem basiert und über das gewöhnliche Verständnis der Dinge hinausgeht? Es ist sehr wichtig, Fachwissen richtig bewerten zu können. Wir müssen in der Lage sein zu entscheiden, wem wir vertrauen können.“

Al-Najjar rückt das Projekt in einen weiteren Kontext: „Der Grundgedanke ist, die Grenzen zwischen dem Anteil des überprüfbaren und dem des nicht überprüfbaren Wissen zu verstehen. Dies ist die erste Studie, die den Überzeugungs-Strukturen Beschränkungen auferlegt, die diese Überzeugungen überprüfbar machen.“

Ein überraschendes Ergebnis
Die Forschung umfasst eine Reihe von Studien zur Überprüfung von Fachwissen, die zu einem in den Worten des Artikels „sehr robusten – und überraschenden – Ergebnis“ gelangen, nämlich „dass alle auf Vernunft basierenden Tests manipuliert werden können.“ Die Tatsache mag zwar der Intuition zuwiderlaufen, wird aber von Forschern universal akzeptiert. „Es ist möglich, Nichtwissen vollständig hinter einer Sprache der Wahrscheinlichkeit zu verbergen. Und dieses Nichtwissen ans Licht zu bringen, ist sehr schwierig“, fasst Sandroni zusammen. „Man erweckt den falschen Eindruck von Fachwissen, wo nur Nichtwissen vorhanden ist. Dies muss man natürlich auf eine besondere und spezifische Art und Weise machen – äußerst vorsichtig und sehr präzise –, um damit durchzukommen.“

Weinstein weist  auf die Auswirkungen hin, die das Ergebnis auf die möglichen Experten-Prüfer haben wird: „Es bedeutet, dass wir keine perfekte Welt mit einem perfekten Testprozess haben können.“ Tests mit gewissen Einschränkungen bleiben dennoch weiterhin möglich. Das Kellogg-Team versuchte, Begrenzungen zu identifizieren, die weder zu eng noch zu locker waren, und integrierte sie in einen Wissenstest.

„Wir gehen vom schlimmsten Fall aus, nämlich dass sich die falschen Experten sehr gut mit dem Test auskennen und wissen, wie sie ihn manipulieren können. Wir gehen davon aus, dass es unter ihnen meisterhafte Manipulatoren gibt“, sagt Weinstein. „Aber wir sind uns darüber im Klaren, dass es eine Gratwanderung ist. Wenn der Test zu restriktiv  ist, können ihn auch die tatsächlichen Experten nicht bestehen. Ist der Test nicht feinkörnig genug, bestehen ihn auch diejenigen, die Ihnen etwas vormachen wollen.“

Erlernbarkeit und Vorhersagbarkeit
Der mit mathematischen Standardtools entwickelte Test beruht auf zwei Schlüsselphänomenen: der Lernfähigkeit und der Prognosefähigkeit. „Wir sehen uns Vorhersagen an und das, was sich, tatsächlich ereignet hat. Darauf aufbauend wollen wir wissen, ob der Vorhersager etwas von dem versteht, was er vorherzusagen versucht“, sagt Sandroni. Weinstein beschreibt das Verfahren detaillierter: „Zuerst einmal müssen die zu testenden Experten im Voraus eine bestimmte Zeit festlegen, die sie zum Erlernen dessen benötigen, was sie vorherzusagen versuchen. Das ist die Lernfähigkeit. Wenn sie das Ende dieser Zeit erreicht haben, müssen sie eine spezifische Vorhersage treffen, die überprüft werden kann, beispielsweise dass der Markt in einem Zeitraum von fünfzig Tagen 80 % der Zeit steigt – das ist Prognosefähigkeit.“

Das Team fasst diese beiden Voraussetzungen in seinem Artikel zusammen. „Es muss einen Punkt geben, an dem die Theorie [des Experten] Vorhersagen erlaubt, die überprüft werden können“, bemerken die Forscher. Darüber hinaus, so Sandroni, „muss der Experte Gründe dafür angeben, warum er eine bestimmte Vorhersage trifft – Gründe, die auf einer Reihe von Parametern beruhen. Anschließend werden bis zu einem gewissen Grad Daten verwendet und die Parameter einzeln getestet. Der Test setzt zur Identifikation von Kernelementen die üblichen wissenschaftlichen Verfahren ein und verwendet anschließend weitere Daten, um sie zu bestätigen. Der Punkt ist, dass sich unser Test in diesem besonderen Kontext nicht manipulieren lässt, während dies bei anderen ähnlichen Tests möglich ist.“

Wie Weinsteins Beispiel der Marktprognose zeigt, verlangt der Test von Experten, ihre Vorhersage auf Basis von Wahrscheinlichkeiten zu machen, anstatt einfache Ja- oder Nein-Antworten zu geben. Metereologen veranschaulichen dieses Kriterium sehr gut. Sie formulieren ihre Vorhersage normalerweise in prozentuale Wahrscheinlichkeit für Regen, Schneefall, Sonnenschein oder andere meteorologische Phänomene. „Dies entwickelt sich zur geeigneten Methode, um eine Beratung in anderen Gebieten wie der politischen Analyse, medizinischen Studien oder Sportwetten anzubieten – alles Gebiete, in denen Beratung in Form von Wahrscheinlichkeiten gegeben wird“, sagt Sandroni. Die Frage nach Prozentsätzen legt dem Test eine automatische Beschränkung auf. Sie macht das erforderlich, was Weinstein als „einen recht langen, mehrfachen Datenstrom“ bezeichnet – sich ständig ändernde Faktoren wie beispielsweise sich dem Markt anpassende Finanzinformationen oder Voraussagen von Spielergebnissen, die sich entsprechend der Verletzungsberichte oder der Wettervorhersage für den Spieltag ändern.

Wie viel Spielraum?
Beschränkungen wie diese machen den neuen Test wertvoller. „Je mehr Beschränkungen es gibt, desto schwieriger wird es, den Test zu manipulieren, da er auf eine ganz bestimmte Weise manipuliert werden muss“, erklärt Sandroni. Aber der Test lässt den Getesteten auch einen gewissen Handlungsspielraum. „Wir versuchen mit einzubeziehen, dass man richtige Vorhersagen treffen kann, selbst wenn sie nicht präzise sind“, sagt Weinstein. „Wir müssen den Getesteten etwas Handlungsfreiheit lassen. Die Frage ist nur, wie viel Handlungsfreiheit angemessen ist.“

Sandroni betont, dass der Test hauptsächlich auf Personen abziele, die versuchen, über ihre Vorhersagekünste einen falschen Eindruck zu erwecken. „Es wäre sehr einfach, die ehrlichen unwissenden ‚Experten‘ von den ehrlichen wissenden Experten zu unterscheiden“, sagt er. „Aber uns geht es um den unehrlichen Experten, der seinen ungerechtfertigten Ruf bewahren kann, indem er strategische Vorhersagen macht.“

Welche Schlussfolgerungen können wir aus dem Forschungsprojekt ziehen? „Wenn wir gezielte Anforderungen an Lernzeit der Experten und Präzisionsgrad ihrer Vorhersagen stellen, dann können wir unterscheiden zwischen Schwindlern und jenen Menschen, die tatsächlich derartige Vorhersagen machen können“, sagt Weinstein. Al-Najjar analysiert die Auswirkungen der Studie auf Unternehmen und andere Institutionen. „Die Spannung zwischen Verbindlichkeit und Flexibilität ist seit langem von Philosophen und Strategen anerkannt worden“, erklärt er. „Dieser Artikel stellt auf einer höheren Ebene fest, dass diese Spannung in den Problemen von Prüfen und Lernen wurzelt. Überprüfen der eigenen Grundstrukturen und Lernen von einer sich ändernden Umwelt sind beide  grundlegend in  einer dynamische, adaptive Organisation.“