BigData wordt groot

Veel Belgen kan je op Hadoop World niet tegen het lijf lopen, want als er al Belgen met véél bezig zijn, dan komen die eerder uit de storagehoek. Maar goed, iemand moet de eerste zijn en zo togen we begin deze week naar de Big Apple voor de tweede editie van wat de jaarlijkse hoogmis van Cloudera moet worden. En het moet gezegd, er liepen namen rond waar een gemiddeld Gartner-symposium alleen maar kan van dromen, en het aantal deelnemers verdubbelde ten opzichte van 2009 vlot naar 900.

Cloudera, dat is wat Red Hat voor Linux is, maar dan voor de producten uit de ‘H-stack’. En als we er even rekening mee houden dat Red Hat als een van de weinigen écht geld wist te maken uit open source, en dat Cloudera opgericht is door Mike Olson, wiens bedrijf Sleepycat ooit een eerste strategische overname in de opensource-context was door Oracle, dan hoeft het ons niet te verwonderen dat Cloudera heel snel heel groot zal worden. Binnen de H-stack dan toch, en dat verdient wel een woordje uitleg.

H staat voor Hadoop, een platform voor gedistribueerde en dus robuuste opslag en verwerking van véél data. Een terabyte stelt niks meer voor, de grootgebruikers van Hadoop (zoals Yahoo om er maar eentje te noemen) draaien hun hand niet om voor enkele tientallen petabytes. Hadoop als project wordt voornamelijk beheerd door Yahoo, Facebook en Cloudera, binnen de Apache-softwaregemeenschap. Enterprise open source dus, vaak van bedrijfskritisch belang voor zijn gebruikers.

Hadoop wordt volwassen
Het thema van Hadoop World was de volwassenwording van het platform. Tim O’Reilly van de bekende gelijknamige boekerij bracht als keynote een pleidooi voor gedisciplineerd omgaan met data, afgeleide data en privacy. Je kan dan als gebruiker op individuele websites wel een mening hebben over wat zij van jou mogen weten, met technologie als Hadoop wordt het soms mogelijk om op een algemeen, internetoverschrijdend niveau aan profieldataverzameling en -verfijning te doen. En zo komen mensen misschien wel meer over jou te weten dan je zelf kan vermoeden.

Slimme energiemeters bijvoorbeeld, die aan de hand van de specifieke opstartvermogensgrafieken van apparaten aan nutsbedrijven de mogelijkheid bieden om exact te weten welk merk koelkast je in huis hebt. Niet door alles op voorhand uit te gaan meten, maar door het globale overzicht dat gecreëerd wordt door inzage in de totaliteit van de BigData. Big Brother needs BigData.

Maar het is niet allemaal kommer en kwel rond privacy in Hadoopland. Cloudera kondigde tal van nieuwe partnerships aan, zowel op regionaal niveau (met NTT DATA in Japan) als op domeinniveau, waar de wereld van businessintelligence toch een leidend onderwerp was: Pentaho, Aster Data, Talend, Quest en ga zo maar door. De gebruikersverhalen waarin met tonnen data gegoocheld werd, waren dan ook alomtegenwoordig tijdens de breakoutsessies, waarbij het toch ook en vooral duidelijk gemaakt werd dat je geen Yahoo of Google meer moet zijn om geld te halen uit BigData. De grote namen hier waren Bank of America, Orbitz en GE.

HBase
Een speciale vermelding toch voor HBase, duidelijk een publiekstrekker in het Hadoop World-programma. HBase voorziet in een random access-databank bovenop Hadoop. Wederom uiterst schaalbaar, maar vooral ook net iets meer gebruiksvriendelijk en toegankelijk voor die 90% ‘andere’ developers. Alle sessies rond HBase liepen over van het volk, en waar Hadoop zich stilaan opmaakt voor de maturisering, laat HBase duidelijk nog veel ruimte tot innovatie toe.

En dat vinden wij dan weer boeiend (en geruststellend), want het bevestigt ook onze keuze voor HBase voor de bouw van Lily – onze schaalbare storage- en search-oplossing die we bouwen boven op HBase en SOLR.

Samengevat maakte Cloudera het tijdens Hadoop World duidelijk dat de wereld van BigData met rasse schreden het enterpriseniveau binnenvalt. En dat pure dataopslag ook maar dat is: dat je met gedistribueerde verwerking van die data de intelligentie en competitiviteit van jouw organisatie op een hoger peil kan tillen. Want nu wordt maar al te vaak weggegooid waar straks mee zou kunnen verkocht worden.