Per primera vegada en la historia som capaços de generar bases de dades amb desenes de milions d’entrades provinents de l’acció combinada de centenars de milers d’usuaris en processos de creació col·lectiva per Internet; alhora obtenim dades de multitud de nous sensors que permeten recollir un nombre cada cop més gran de dades que cal processar, estructurar i gestionar per a poder-les transformar en informació, gestionar-la i poder-la recuperar.
El volum d’informació generat en un any creixerà fins a 35 zettabytes, 35 bilions de gigabytes, i la tecnologia informàtica capaç de processar aquestes dades creix també contínuament. Aquesta explosió en el volum de dades generades implica una transformació profunda de la nostra manera de relacionar-nos amb les dades. El canvi té implicacions ètiques, epistemològiques i socials, però també demana una forta transformació en el disseny i les maneres de mostrar la informació.
Anomenem big data el tractament i anàlisi de grans repositoris de dades (data sets), tan grans que resulta impossible tractar-los amb les eines analítiques convencionals i en creixement constant.
Quan el volum de dades sobrepassa la nostra capacitat cognitiva, quan les eines clàssiques no permeten processar totes les dades obtingudes, necessitem nous mètodes que permetin transformar-les en informació útil: visual i accessible. Iniciatives com l’anàlisi cultural (cultural analytics) de Manovich van encaminades no solament a treure profit en l’àmbit cultural de la recapitulació massiva de dades, sinó també a desenvolupar nous mètodes per a visualitzar aquesta informació i poder-la mostrar a l’usuari.
“The size, complexity of formats and speed of delivery exceeds the capabilities of traditional data management technologies; it requires the use of new or exotic technologies simply to manage the volume alone. Many new technologies are emerging, with the potential to be disruptive. One major implication of big data is that in the future users will not be able to put all useful information into a single data warehouse. Logical data warehouses bringing together information from multiple sources as needed will replace the single data warehouse model.”
http://www.gartner.com/newsroom/id/1826214
És fàcil pensar que el concepte de big data forma part només de disciplines científiques esotèriques, de la sociologia o dels estudis de mercat, però el big data és un fenomen que ens afecta a tots i que condiciona i posa en perill alguns dels drets més bàsics de l’usuari si no s’afronta amb prou rigor.
Fins a l’arribada del big data la dispersió de les dades que deixàvem sobre nosaltres mateixos en el món era tan alta que podíem estar segurs que ningú no podria reconstruir els nostres gustos, intencions, desitjos, temors, etc., però amb les noves formes de processament de la informació en grans quantitats, la reproducció de perfils psicològics o de preferències és una cosa molt més senzilla. Només amb l’historial de Google un pirata informàtic (cracker) mal intencionat podria arribar a tenir molta informació sobre el perfil d’un usuari qualsevol. Amb la informació que deixem a les xarxes socials és molt senzill reconstruir les nostres vides a partir dels rastres digitals.
El control de les tendències globals és un altre dels potencials perills del mal ús del big data; amb l’elevat coneixement dels temes del moment (trending topics) i l’elevada capacitat per a manipular la informació és fàcil establir tendències manipulables. La mineria de dades (data mining) permet fer estudis de preferències o de disconformitat social.
Per primera vegada els ordinadors ja no solament ens ajuden a processar la informació, sinó que són els únics capaços de gestionar els volums de dades derivades del big data. Els milions de dades que genera un accelerador de partícules no poden ser processats per la ment humana. La frontera entre ciències formals i ciències experimentals es difumina i l’ordinador deixa de ser una ajuda per a passar a ser una peça imprescindible i insubstituïble de la recerca científica.
En un futur immediat el valor econòmic passarà dels serveis a les dades, els algoritmes per a analitzar-les i el coneixement que se’n pugui extreure.
- ZDNet (definició de big data): http://www.zdnet.com/blog/virtualization/what-is-big-data/1708
- MIT Technology Review: Big data comes with big responsibilities (article de valoració sobre les implicacions del big data i les potencialitats que té): http://www.technologyreview.com/news/425648/with-big-data-comes-big-responsibilities/
- Previsions sobre big data aquest 2013, el principi de la guerra dels algoritmes: http://blogs.forrester.com/mike_gualtieri/13-01-02-big_data_predictions_for_2013
- Programari de codi obert disponible per al tractament del big data: http://techcrunch.com/2012/10/27/big-data-right-now-five-trendy-open-source-technologies/
- Big data: la pròxima frontera per a la innovació: http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation