Conento. Sentiment Analysis

Conento, empresa española líder en consultoría analítica de marketing, ha realizado un estudio acerca del análisis de sentimiento (sentiment analysis), aplicado a la campaña publicitaria de Campofrío "Hazte extranjero" emitida en Diciembre de 2013. El objetivo del estudio ha sido evaluar la fiabilidad de las codificaciones automáticas (clasificar los comentarios en positivos, neutros o negativos) frente a las codificaciones manuales –las máquinas vs las personas. Los resultados aportan luz en este campo, y ponen sobre aviso de la importancia que sigue teniendo hoy en día la valoración personal de un comentario.

El sentiment analysis, también conocido como opinion mining, hace referencia al procesamiento del lenguaje natural, análisis de textos y lingüística computacional para identificar y extraer información subjetiva de un texto. Se utiliza para conocer cuál es la opinión de los usuarios en las redes sociales sobre un determinado tema. Un análisis de este tipo aplicado a una gran red social como Twitter puede ayudarnos a determinar cuál ha sido el impacto social de una campaña de publicidad.

PASOS EN EL ANÁLISIS

El primer paso en nuestro análisis ha consistido en descargar los tweets y retweets publicados entre los días 18 y 25 de diciembre (periodo que analizaremos), en los que aparece la palabra clave "Campofrío" o el hashtag #HazteExtranjero. Para cada uno de ellos, Twitter nos ofrece la siguiente información: identificador único del tweet, fecha y hora, mensaje, ubicación (para aquellos usuarios que tengan esta opción activada), cierta información sobre el usuario como número de tweets publicados, número de seguidores, número de tweets favoritos, etc., y cierta información sobre el tweet en concreto, como por ejemplo, si se ha retweeteado o si se ha marcado como favorito.

Una vez descargada la información podemos observar las series de tweets y retweets (Fig. 1), donde vemos la cantidad de mensajes publicados hora a hora a lo largo del histórico disponible.

Fig

En dicho gráfico podemos apreciar una tendencia decreciente durante los primeros días desde la primera emisión del anuncio. Esto muestra cómo el interés del público ha ido decreciendo: a medida que ha ido pasando el tiempo, cada vez se va hablando menos del anuncio en las redes sociales. Observamos sin embargo dos días en los que aumentan de nuevo los comentarios sobre la campaña, momentos que coinciden con la compra de Campofrío por empresas extranjeras, avivando de nuevo el fuego de la opinión pública.

Una vez analizada la serie de manera general, extraemos una muestra de 500 tweets y retweets que analizamos más en detalle. Codificamos esta muestra tanto de manera automática (con un algoritmo disponible en el mercado) como de forma manual (con una persona que ha revisado cada comentario), clasificando los mensajes en Positivos, Negativos y Neutros, dependiendo de su contenido. Comparamos ambos resultados en la siguiente tabla:

Tabla 1

RESULTADOS

En la Tabla 1 observamos los resultados obtenidos por la codificación automática en las columnas y los obtenidos por la codificación manual en las filas. El algoritmo automático deja una gran parte sin codificar (35% de los tweets) y entre los que sí codifica, da un porcentaje similar tanto a positivos como a negativos. Encontramos así la primera contradicción con la codificación manual, en la que un 46% de los tweets aparecen como negativos frente a solo un 18% de comentarios positivos. Veamos a continuación algunos ejemplos en los que la codificación automática y la manual han discrepado (Tabla 2):

Tabla 2

Ampliamos el número de casos de codificación manual a tres personas y probamos a su vez un segundo algoritmo automático disponible en el mercado, obteniendo los siguientes resultados:

Tabla 3

En la Tabla 3 podemos ver los resultados obtenidos tanto con las dos codificaciones automáticas (A1 y A2) como con las tres manuales (M1, M2 y M3). Se puede observar que mientras el algoritmo 1 solo daba a un 8% de tweets la clasificación de neutro, con el algoritmo 2 este porcentaje aumenta hasta un 53%. Por otro lado, las contradicciones entre los códigos automáticos contrastan con la similitud presente en los manuales, que coinciden en que más del 40% de los tweets son negativos. Parece haber una correlación mucho más alta entre resultados obtenidos a mano, que con las automáticas.

Tabla 4

La Tabla 4 muestra el porcentaje de coincidencia entre dos codificaciones diferentes. Puede observarse que el porcentaje de coincidencia es inferior entre codificaciones automáticas, es decir, no solo no coinciden los resultados manuales y los automáticos, sino que además los resultados automáticos no muestran un alto índice de coincidencia entre ellos tampoco.

CONCLUSIONES

Es un hecho que los algoritmos automáticos dan mucha más velocidad al proceso de análisis de comentarios en las redes sociales pero…

· El análisis de sentimiento basado en algoritmos automáticos da resultados diferentes al análisis de sentimiento hecho de forma manual por personas.

· A los algoritmos automáticos les cuesta más identificar los comentarios positivos y los negativos, llevando muchas respuestas a los valores neutros.

· Las personas valoran de forma parecida. Sin embargo, las valoraciones automáticas no se parecen a las valoraciones hechas por personas. Hay más robustez en el análisis de sentimiento manual.

Pese a las limitaciones encontradas, una buena codificación de opiniones reflejadas en las redes sociales podría aportarnos grandes aprendizajes. Nos serviría para estudiar la evolución de tweets a lo largo de un histórico viendo así si aumenta o disminuye el interés de la sociedad sobre determinado tema, evaluar el impacto de una campaña publicitaria, analizar cómo influye la opinión de determinados usuarios líderes en la tendencia general o realizar estudios sobre salud de marca, predicciones electorales etc. Eso sí, por ahora, MEJOR CON CODIFICACIÓN MANUAL DE UNA MUESTRA REPRESENTATIVA.

Hablamos de

Emprendedores