Datamining. Un post para leer

Josep, un lector de Infoman nos trae su siguiente experiencia:

“Totalmente de acuerdo y destaco muy especialmente el tercer párrafo: “””Es un entorno idóneo para gente con buenos conocimientos matemáticos y estadísticos pero pocas empresas les contratan.”””

Y como razona perfectamente Josek, es un proceso donde es muy importante invertir una cantidad importante de recursos.

A la pregunta, “””¿Quienes de vosotros hacéis elaborada minería de datos en vuestra empresa y quien es el/la responsable de ello?”””

En mi caso la respuesta es fácil porque trabajo en una empresa donde nos dedicamos a la labor de datamining de redes de telefonía móvil aplicando tecnologías de inspección de paquetes, de ahí que me haya dedicado a analizar redes de datos de telefonía móvil alrededor del mundo (de momento, remótamente o presencialmente, en los últimos dos años he trabajado con datos de operadores de más de diez países distintos -Asia, Latinoamérica, Europa, Oriente Medio-, y el número de proyectos no para de crecer, para que os hagáis una magnitud del crecimiento de este sector).

Esto significa lidiar con la locura de tratar con millones, cientos de millones, miles de millones de datos distintos a diario y con la necesidad de extraer tendencias, problemas técnicos y otra información relevante de ellos.

Al ser un campo de trabajo muy nuevo (la explosión de las comunicaciones móviles tiene lugar justo ahora), hay una relativa escasez de estudios e información publicada y no hay un “método de trabajo” perfectamente definido y estudiado y analizado, no hay pasos preestablecidos. De modo que es un campo perfecto para la experimentación y la obtención de nuevos resultados.

El tema consiste en “hacer camino al andar”, en dedicar muchas horas a “jugar con los datos”, combinarlos, obtener resultados, descartar miles y seleccionar unos pocos.

Además de dar cada vez con los resultados adecuados, que sorprenderán o aportarán información extra al cliente, lo complicado muchas veces es la labor didáctica que hay que hacer y va pareja a este trabajo. Muchas veces el cliente (de muchas áreas distintas, ingeniería, marketing, gerencia) no está acostumbrado a trabajar desde un punto de vista estadístico y es importante explicarle el porqué de cada uno de los razonamientos y resultados.

Juan apunta a la necesidad de conocimientos de marketing antetodo. Bien, en mi campo apuntaría a todo lo contrario. Antetodo es importante tener bien claros algunos conceptos estadísticos y saberlos aplicar. Es mejor unos cuantos conceptos de marketing o técnicos claros y bien trabajados desde un punto de vista estadístico, que muchos pero confusamente desarrollados.

En general, en las empresas se exige la creación de “cuadros de mando” y la definición de indicadores y KPIs, sin embargo mi experiencia me lleva a dudar de la validez estadística de muchos de ellos, así como se desarrollan e interpretan. Nosotros mismos a menudo, en las propuestas comerciales que presetamos a los clientes, acostumbramos a definir parámetros estadísticos tales como success rates, contadores y promedios. Sin embargo, estos parámetros son únicamente válidos para definir thresholds o valores umbrales, muchas veces no para describir la naturaleza de lo que miden. La realidad es que a la hora de hacer un análisis de la red, es muy frecuente que yo mismo me aleje de la propuesta original y aplique conceptos más elaborados y no tan sencillos de vender en una propuesta comercial pero mucho más efectivos a la hora de efectuar el trabajo de campo (distribución estadística, mediana y media estadística, varianzas…).

Para simplificar mucho, el análisis “un hombre tiene dos pollos y el otro tiene cero, la media es un pollo por persona”, ese conocimiento en realidad no nos aporta información para describir la naturaleza de la situación. Pero esto, que en este caso es simple de ver, cuando se aplica a millones de datos, no se percibe y pasa a formar parte de los cuadros de mando y del proceso de toma de decisiones, pudiendo ser origen de muchas malinterpretaciones.”

Mi comentario:

Aunque la telefonía móvil es un buen ejemplo de entorno para la minería de datos, también lo es el comercio electrónico o las redes sociales.

De hecho, anticipo una avalancha de ofertas de servicios basados en minería de datos en el entorno de las redes sociales cuyo conocimiento del comportamiento individual de sus usuarios es solo explotable -teniendo en cuenta los aspectos legales que lo limitan- desde una buena aplicación que ayude a los gestores a conocer el “paso de sus clientes” por su red, descubrir comportamientos concretos y aplicar ofertas especiales derivadas de los mismos.

Es un gran campo de actividad para matemáticos y estadísticos que verán abrirse pronto muchas oportunidades de trabajo de nueva gestación.

Hablamos de

Emprendedores