¿Experto o charlatán?

Cuando los habitantes de la Antigua Grecia querían desvelar las incógnitas sobre su futuro, consultaban el oráculo de Delfos. Hoy día, las personas con dudas sobre asuntos tales como futuras cotizaciones bursátiles, tendencias energéticas, márgenes de puntos en partidos de fútbol e incluso el tiempo que hará la semana que viene consultan a los expertos en esos campos. Muchos de esos expertos basan su asesoramiento en el razonamiento científico. Pero algunos se valen del marketing ingenioso, la pseudociencia y las predicciones cuidadosamente calibradas más que de un conocimiento genuino de las áreas sobre las que elaboran pronósticos. Con demasiada frecuencia, esas personas conservan su fama de habilidad predictiva porque resulta sorprendentemente difícil distinguir entre falsos y auténticos expertos. Ahora, sin embargo, un equipo de Kellogg ha elaborado una prueba que logra justamente eso en determinadas circunstancias.

«Nuestra prueba analiza a los expertos entendidos y profanos», afirma Alvaro Sandroni, profesor de economía empresarial y ciencias de la decisión (MEDS, por sus siglas en inglés), que colaboró en el proyecto con Nabil Al-Najjar, también profesor de MEDS, Jonathan Weinstein, profesor titular de MEDS, y Rann Smorodinsky, profesor titular en el Instituto Technion (Israel). «Si sabes lo que está pasando, superarás la prueba. Si no lo sabes, no afirmamos que no vayas a superar la prueba, pero no hay ninguna garantía absoluta de que la superes.»

Sandroni prosigue: «Es parte de una agenda de investigación que se sustenta en una sencilla pregunta: ¿Cómo sabemos que un experto posee información de la que nosotros carecemos y cómo sabemos que la ciencia se basa en algo y va más allá del conocimiento ordinario de las cosas?» Weinstein añade: «Es muy importante evaluar la pericia. Necesitamos poder saber en quién confiar.»

Al-Najjar sitúa el trabajo en un contexto más amplio. La idea básica, dice, «es comprender los límites entre las partes del conocimiento que se pueden someter a prueba y otras que no. Éste es el primer trabajo que introduce restricciones en la estructura de las creencias que hace que estas creencias puedan someterse a prueba.»

Un hallazgo sorprendente
La investigación amplía una serie de estudios sobre pruebas de pericia que han llegado a lo que el trabajo del equipo denomina un «hallazgo de lo más sólido—y sorprendente—... que todas las pruebas razonables pueden manipularse». Ese hecho puede ser contrario a la intuición, pero los investigadores lo aceptan universalmente. «Es posible ocultar la ignorancia más absoluta mediante el lenguaje de la probabilidad y demostrar esa ignorancia resulta muy difícil», resume Sandroni. «Das una falsa impresión de pericia cuando lo único que hay es ignorancia. Por supuesto, debes hacerlo de una forma muy especial y específica—con sumo cuidado y de un modo muy preciso—para tener éxito.»

Weinstein señala las implicaciones del hallazgo para quienes pretendan someter a prueba a los expertos. «Significa que no podemos tener un mundo perfecto con una prueba perfecta», afirma. Las pruebas con ciertas restricciones siguen siendo factibles, no obstante. El equipo de Kellogg se propuso identificar las limitaciones que no son ni demasiado restrictivas ni demasiado laxas, e incorporarlas en una prueba de pericia.

«Nos ponemos en el peor de los casos: que los falsos expertos comprendan muy bien la prueba y cómo manipularla. Damos por sentado que hay manipuladores consumados ahí fuera», apunta Weinstein. «Pero reconocemos que existe una delgada línea. Si tu prueba es demasiado restrictiva, habrá expertos reales que la suspenderán. Pero, si no es lo bastante precisa, aprobará gente que trata de engañarte.»

Capacidad de aprendizaje y capacidad predictiva
La prueba, desarrollada utilizando herramientas matemáticas estándar, se basa en dos fenómenos clave: la capacidad de aprendizaje y la capacidad predictiva. «Analizamos las predicciones y lo que ha sucedido en realidad, y, basándonos en eso, queremos saber si el predictor sabe algo sobre lo que trata de predecir», expone Sandroni. Weinstein esboza el proceso en detalle. «En primer lugar, los expertos sometidos a prueba deben fijar de antemano una cantidad de tiempo que necesitarán para aprender algo acerca de lo que tratan de predecir; eso es la capacidad de aprendizaje», explica. «Entonces, cuando se cumple ese plazo, tienen que realizar una predicción muy específica que pueda verificarse: por ejemplo, que en un periodo de cincuenta días el mercado subirá el 80% del tiempo; eso es la capacidad predictiva.»

El equipo sintetiza esos dos requisitos en su trabajo. «Debe existir un punto en que la teoría [del experto] realice predicciones que se puedan someter a prueba», apuntan los investigadores. Además, sostiene Sandroni, «el experto debe aportar razones de por qué ha hecho tal o cual predicción, razones basadas en un montón de parámetros. Entonces se utilizan los datos hasta cierto punto y los parámetros se someten a prueba por separado. La prueba sigue procedimientos científicos habituales para identificar los elementos centrales utilizando datos y, una vez identificados dichos elementos, utiliza más datos para confirmarlos. La cuestión es que, en este contexto en concreto, nuestra prueba no puede manipularse mientras que otras pruebas de aspecto similar pueden manipularse.»

Como muestra el ejemplo de Weinstein sobre predicción de mercado, la prueba exige que los expertos realicen sus pronósticos basándose en probabilidades, en lugar de sencillas respuestas afirmativas o negativas. Los meteorólogos ilustran ese criterio. Por regla general, formulan sus pronósticos en términos de la probabilidad porcentual de lluvia, nieve, sol u otros fenómenos meteorológicos. «Esto se está convirtiendo en un método apropiado de presentar consultas en otros campos, como los analistas políticos, los estudios médicos y las apuestas deportivas: cualquier área en que las consultas se expresen en términos de probabilidades», dice Sandroni. La demanda de porcentajes impone una restricción automática a la prueba. Exige lo que Weinstein denomina «una secuencia de datos reiterados bastante larga»: factores de variabilidad continua como información financiera que evolucione con el mercado o márgenes de puntos que cambien según los partes médicos de los jugadores y los pronósticos meteorológicos del día del partido.

¿Cuánto margen de flexibilidad?
Restricciones como ésa aumentan el valor de la nueva prueba. «Mientras más restricciones haya, más difícil será manipular la prueba, porque es preciso manipularla de un modo determinado», señala Sandroni. Pero la prueba también ofrece a los sujetos cierto grado de libertad. «Intentamos reconocer que la gente puede realizar predicciones acertadas aunque no sean precisas», apunta Weinstein. «Tenemos que concederles algún margen de flexibilidad. La cuestión es cuánto margen de flexibilidad dar.»

Sandroni hace hincapié en que la prueba se centra en las personas que se proponen crear falsas impresiones sobre sus habilidades predictivas. «El experto profano honesto sería muy fácil de diferenciar del experto entendido honesto», dice. «Estamos analizando al experto deshonesto que puede conservar una reputación falsa realizando predicciones estratégicas.»

¿Cuál es el mensaje que cabe extraer del proyecto de investigación? «Si planteamos exigencias concretas sobre cuánto tiempo tiene el experto para aprender y la precisión con la que ha de predecir, entonces podemos distinguir entre los artistas del engaño y la gente que es capaz de realizar esa clase de predicción», afirma Weinstein. Al-Najjar analiza las implicaciones del trabajo para las empresas y otras instituciones. «La tensión entre compromiso y flexibilidad ha sido reconocida por filósofos y estrategas», explica. «El mensaje de mayor calado de este trabajo es que esta tensión tiene sus orígenes en los problemas de prueba y aprendizaje. Tanto someter a prueba los marcos propios como aprender de un entorno cambiante son fundamentales para una organización dinámica y adaptativa.»