Too big data?

Er wordt veel verwacht van de mogelijkheden van big data. Terecht, want het slim combineren van neutrale, real time data kan veel onnodige handelingen voorkomen. In veel scenario’s gaan we er van uit dat deze groei ongelimiteerd kan doorgaan. Wat gebeurt er als dat niet het geval blijkt te zijn? Lopen we tegen de grenzen aan van wat digitaal mogelijk is? In Londen kwamen op 11 mei 2015 telecombedrijven, topingenieurs en fysici bijeen om daarover te praten.

Data-obesitas
We gaan slordig om met onze data en veel partijen gaan er van uit dat we ongelimiteerd data kunnen toevoegen. Zo zie je systemen waar de data voor de zekerheid naar verschillende servers wordt gekopieerd om sneller analyses te kunnen uitvoeren. Als ik het principe van de Hadoop-technologie goed begrijp worden willekeurige data op meerdere servers opgeslagen om te zien of een NoSQL-systeem hier zinvolle verbanden weet aan te tonen (laten we het maar registreren, want je weet nooit waar het goed voor is.)

Tel daarbij de logistieke droom op dat van ieder pakketje en elk transportmiddel elk detail continu beschikbaar is, zodat real time de beste oplossing kan worden uitgerekend, dan zie je in het databos de databomen niet meer. De enorme groei aan data werkt verslavend en leidt tot een digitaal overgewicht.

Is er geen eind aan de mondiale digitale geheugencapaciteit? Wachten we tot die grens bereikt is of sorteren we daar op voor door nu al te bedenken welke data we nu echt nodig hebben en welke niet?

Datadieet
Wordt het geen tijd om na te gaan denken hoe we onze dataconsumptie kunnen beperken, voordat we erdoor worden vermorzeld? We zullen waarschijnlijk moeten kiezen welke informatie we eigenlijk nodig hebben en welke niet per sé. Een belangrijke restrictie kan al worden bedacht voor de informatie die real time beschikbaar moet zijn en welke niet.

Als auto’s met elkaar communiceren is het waarschijnlijk niet nodig dat alle detailgegevens (kilometerstand, bouwjaar, staat van onderhoud, accessoires, enz.) continu beschikbaar zijn. Voor de veiligheid in het verkeer volstaat misschien de informatie over richting, snelheid en gewicht?

Laten we alvast wennen aan het idee dat er waarschijnlijk een einde komt aan de digitale opslagcapaciteit en kijken wat we echt nodig hebben.