Bigdata por aquí bigdata por allá y resulta que en Google sigue habiendo muchas más búsquedas sobre data mining. Este dato tiene importancia porque el bigdata no tiene sentido sin el data mining. Incluso podríamos prescindir del bigdata porque lo importante es lo que queremos hacer no como lo queramos hacer. Saludos.
Google Trends, SQL frente a Hadoop. La tendencia es clara, mientras el interés por Hadoop está creciendo, el interés por SQL baja en picado [aunque vaticino un estancamiento de 2-3 años]. Y si analizamos el interés por zona geográfica por Hadoop:
Ya podéis avidinar quienes marcarán el ritmo en el sector. Quienes serán la referencia en Big Data en 3-4 años. A dónde irán los servidores de las principales compañías mundiales. Muy significativo.
Ese gráfico está sacado de Google Trends. Representa la comparativa entre las búsquedas SQL y Hadoop en Google. La caída del SQL frente al ligero ascenso del Hadoop. ¿Llegarán a converger estás dos líneas? Seguramente no. Hadoop parará su ascenso, pero SQL no parará su descenso. A qué esperas para dejar de ser un dinosaurio.
No es que sea yo un gurú del tema precisamente, pero considero que llevo más de 12 años haciendo Big Data, por ello a lo peor alguno toma en serio mis reflexiones. Entonces, ¿cuándo tenemos, hacemos, trabajamos Big Data? La respuesta parece sencilla, “cuando tenemos muchos datos”. Pues no, este es un nombre con mucha pegada (como me han dicho hoy en la comida) es un nombre acertado desde un punto de vista “marketiniano”. Pero muchos datos tiene el operacional de un banco y no creo que un entorno Mainframe haga Big Data. Big Data tenemos cuando accedemos a datos desestructurados. Ya la dimensionalidad pasa a un segundo plano y las tecnologías tradicionales/actuales y sus hechos, metadatas, cubos y demás dejan de tener sentido. Hay Big Data cuando no se prepara la información. Anteriormente el acceso a los datos necesitaba un periodo previo para adaptarlo a una estructura, ahora no, ahora accedemos (por ejemplo) a un sistema operacional sin necesidad de pasar por una capa previa. En realidad hacemos lo mismo, tabulamos, graficamos, modelamos pero sobre datos que no están preparados. Eso es Big Data.
Como vemos el tipo de análisis que utilizamos con el Big Data no dista mucho de lo que hacemos ahora mismo. Por ello las personas que se dedican actualmente a analizar la información serán las mismas que lo harán en el futuro. Pero estas personas tienen que familiarizarse con el empleo de otras tecnologías. Algún compañero de la blogosfera ya está comenzando a definir el nuevo paradigma del gestor de la información. En este blog ya se habló sobre el tema en 2010. La personas que nos dedicamos a la estadística (aunque algunos estemos muy orientados al negocio) tenemos que tener presente este cambio de conceptos y adaptarnos si no queremos quedarnos fuera. El Big Data es lo mismo de siempre pero de otra forma más barata y no necesariamente menos complicada.
¡No seamos dinosaurios! [Aunque luego terminemos pintando todo con Excel]
Google Trends y buscamos los términos Big Data y Data Mining y obtenemos la figura de arriba. Ya convergen las búsquedas. Muchos opinamos que estamos trabajando con Big Data desde hace muchos años sin embargo es ahora cuando este trabajo parece que se está dando a conocer. Y las escuelas de negocio son conscientes de ello. El sector de las tecnologías de la información tiene que estar continuamente renovándose. A lo largo de los años han habido mas revoluciones conceptuales que verdaderamente tecnológicas, sin embargo este nuevo concepto de Big Data si trae consigo una nueva visión de acceso a la información.
No me gusta mucho hablar del tamaño de los datos. A toda esta nueva visión se le ha llamado así debido a que se accede a un gran volumen de datos. Pero lo más revolucionario de todo no es el volumen, sino la forma de acceder a los datos. Antes (y ahora) se accedía a información estructurada, a dimensiones, hechos, cubos,… Ahora accedemos a información desestructurada y somos capaces de visualizarla y tabularla. Para ello también han mejorado los sistemas de almacenamiento de datos, aunque en este caso he de confesar que me pierdo un poco con nubes, hadoops, sistemas distribuidos, map reduces y demás pero es cierto que la verdadera revolución está en estos nuevos sistemas y en la reducción de costes que implica su utilización.
Estaremos muy atentos sobre estas nuevas tendencias en la gestión de la información. Lo primero que se va a hacer en esta bitácora es crear una nueva categoría llamada Big Data en la que espero hablar sobre la reconversión de un viejo dinosaurio al nuevo paradigma [da un poco pereza empezar de nuevo].