In den letzten Wochen habe ich einige Interviews zu den Themen Good Judgment Project und Forecasting gegeben. (Manche davon sind bereits erschienen, andere noch nicht und manche werden wahrscheinlich nie erscheinen, zumindest nicht in der ursprünglichen Form. Sobald was online erscheint, werde ich es posten) Dabei tauchen immer wieder ähnliche Fragen auf. Diese Fragen beziehen sich nicht nur auf die grundsätzliche Methode des Forecastings, sondern auch auf konkrete Beispiele.
Da ich seit mindestens 2 Jahren immer wieder die Grundzüge des Projekts erkläre, kann ich dabei auch gewisse Veränderungen registrieren. Offensichtlich gibt es stets einige Ereignisse in der jeweils jüngeren Vergangenheit, die uns im Rückblick kollektiv als besonders überraschend und schwer vorauszusehen erscheinen. Vor gut einem Jahr war es z.B. der Aufstieg des IS, der in solchen Gesprächen unweigerlich angesprochen wurde. Aktuell ist es vor allem der nach wie vor anhaltende Erfolg Donald Trumps im republikanischen Kandidatenrennen.
Ich wurde also wiederholt gefragt, ob ich, bzw. “wir” (die Superforecaster) Trumps Erfolg korrekt vorausgesehen haben. Die Antwort darauf ist etwas komplizierter. Man kann aber anhand dieser Frage einen wichtigen Aspekt des Themenkomplexes Forecasting, das sogenannte “belief updating”, also das Aktualisieren der eigenen Annahmen, sehr gut erklären.
Zunächst einmal: GJP bzw. GJI hatte keine Fragen zu Trump gestellt und folglich auch nicht systematisch Vorhersagen gepoolt. Ich habe mich aber mit diversen anderen Superforecastern immer wieder zu dem Thema ausgetauscht. Nun werde ich versuchen, ohne nachträgliche Idealisierung der eigenen Prognosefähigkeit (“hindsight bias”) diesen Prozess nachzuvollziehen.
Die Frage “Hast du Trump vorausgesehen” ist weitgehend bedeutungslos ohne eine zeitliche Einschränkung. Anders als sich viele den Prozess vorstellen, geben wir eben nicht einmal eine Vorhersage ab, sondern aktualisieren diese ständig im Angesicht neuer Informationen. Die richtige Frage lautet also eher: “Ab wann war dir klar, dass Trump eben keine Eintagsfliege ist, die in einer Woche in den Umfragen wieder abrutschen wird?”
Die ehrliche Antwort: Im Juni 2015, als Trump seine Kandidatur erklärte, waren ich und fast alle Superforecaster, die ich kenne, davon überzeugt, dass Trump letztlich chancenlos sei. Aber im Laufe der nächsten Monate haben wir – so wage ich zu behaupten – schneller als viele Journalisten und Experten begriffen, dass Trump eben nicht vergleichbar ist mit anderen Kandidaten, die kurzzeitig in Umfragen vorne lagen, wie z.B. Hermann Cain in 2012.
Dass also z.B. der US-amerikanische Forecaster Nate Silver im August 2015 Trumps Chancen auf ca. 2% schätzte, war durchaus verständlich (wobei schon damals für meine Begriffe etwas “overconfident”, also tendenziell zu niedrig). Dass er aber Ende November 2015 die Einschätzung, Trump sei immer noch Außenseiter, wiederholte, war aus meiner Sicht schon fragwürdiger und im Januar 2016 geradezu grob fahrlässig.
Silver, den ich als Forecaster immer noch sehr hoch schätze, demonstrierte hier eindeutig einen Mangel an Bereitschaft, eigene Überzeugungen im Lichte neuer Erkenntnisse in Frage zu stellen. Er sah es nicht ein, die Situation neu bewerten zu müssen – eine der größten Sünden im Forecasting.
Mit anderen Worten: Glauben Sie nie jemandem, der behauptet, alles von Anfang an richtig vorausgesagt zu haben, das hat im Zweifelsfall niemand. Fragen Sie lieber, ab wann er (oder sie) richtig lag.