Hoe big data overwinning Obama voorspelde

Nate Silver, een blogger voor The New York Times had de juiste verkiezingsuitslag in alle 50 Amerikaanse staten voorspeld. Met hulp van big data.

Silver voorspelde de overwinning van Obama al voor de verkiezingen en twijfelde niet aan de overwinning. In zijn ogen zat Obama zelfs in een zetel. Een standpunt waarvoor hij behoorlijk wat tegenwind heeft gekregen. Maar hij sprak niet zozeer zijn geloof in Obama uit, maar wel het geloof in zijn model voor statistische gegevensanalyse.

Silver baseert zich voor zijn voorspellingen over de Amerikaanse verkiezingen op een groot aantal peilingen. Daardoor kreeg hij een betrouwbaarder resultaat dan elke peiling afzonderlijk. Onderstaande kaartjes tonen hoe goed hij de echte uitslagen voorspelde.

For the Nate-haters, here’s the 538 prediction and actual results side by side twitter.com/cosentino/stat…

— Michael Cosentino (@cosentino) November 7, 2012

Hoe hij het deed

De verkiezingen waren niet Silvers proefstuk. Eerder deed hij al voorspellende analyse over een ander thema dat de Amerikanen bezighoudt: honkbal. Hij maakte een tool om de prestaties van honkbalspelers te voorspellen.

Om te voorspellen hoe een speler het de komende drie jaar er vanaf zal brengen, kijkt de tool van Silver naar zijn leeftijd, zijn links- of rechtshandigheid, prestaties uit het verleden en andere statistieken zoals spelpositie. De tool gaat dan vergelijken met een hele hoop gegevens op zoek naar overeenkomstige spelers. En deze methode bleek beter te werken dan eender welke andere manier van voorspellen.

Silver benadert het onderwerp dat hij voorspelt als statisticus, niet als specialist van het onderwerp. Hij verzamelt hopen gegevens en past er logische analysemethoden op toe. Hij zoekt niet naar een specifieke uitkomst, maar wel naar de meest verfijnde methode om patronen te herkennen.

De verkiezingsuitslagen voorspelde hij op dezelfde manier als de honkbalprestaties. En net zoals in het honkbal waren de traditionele specialisten fel gekant tegen deze nieuwe analytische methode. Maar hun nattevingeranalyse gebaseerd op kennis en boerenwijsheden is wel voor altijd achterhaald.