Estudios de mercado: ¿estamos viendo “lo que es” o “lo que queremos ver”?

Los estudios  de mercado son considerados herramientas que permiten elevar significativamente  las probabilidades de éxito de las iniciativas comerciales.

Los  resultados de los estudios se comparten en largas y elaboradas presentaciones  y, en base al aval de los mismos, las empresas lanzan productos y campañas. Sin embargo, la mayoría de veces los resultados no son los esperados.

Esta situación también afecta a reconocidos científicos, cuyos grandes descubrimientos no resultan ser tales.  

Hace unos años, el investigador C. Glenn Begley,  publicó un documento donde describía su experiencia tratando de replicar los descubrimientos de 53 estudios sobre el cáncer. Begley y sus colegas no pudieron replicar 47 de los 53 estudios, incluso con la ayuda de los científicos habían llevado a cabo los estudios originales.
 
Otro reconocido investigador, John Ioannides, luego de analizar extensamente este tema, publicó un relevador documento, “Why Most Published Research Findings Are False” (*), donde identificó diversos errores que cometen los científicos en sus investigaciones.

Del documento de Ioannides, se desprenden diversas acciones que podemos aplicar en la implementación de nuestros estudios de mercado para mejorar la confiabilidad de la  información generada:    

• Tengamos presente y contrarrestemos nuestra tendencia de “ver lo que queremos ver”.  Sin importar qué tan imparciales creamos ser, este problema nos afecta a todos y se agudiza si la iniciativa investigada nos apasiona o hemos invertido un esfuerzo significativo en la misma.

Para minimizar el riesgo de sesgos, solicitemos las opiniones de terceros con experiencia en investigación  y que no estén directamente involucrados con nuestro estudio o iniciativa.  

• Seamos rigurosos al usar la data del estudio para sustentar acciones.  Cuando usemos el término “diferencia” es indispensable que nos estemos refiriendo a una “diferencia estadísticamente significativa”.

En mis inicios como asistente de marca en P&G, el primer estudio que analicé evaluaba una nueva fórmula para relanzar un jabón de tocador.  Cuando vi los resultados me entusiasmé: había en promedio una diferencia de +6 puntos porcentuales en los diferentes atributos. ¡Sin duda teníamos en nuestras manos un relanzamiento ganador!  

Inmediatamente compartí la buena nueva con el gerente de marca, que sonrió satisfecho. Sin embargo, su expresión pasó de alegría a consternación cuando vio el detalle del estudio. Por el tamaño de la muestra encuestada,  los +6 puntos de diferencia solo evidenciaban un empate. ¡Estábamos en “fojas cero”!  

• Seamos consistentes en la evaluación de nuestros proyectos. En otras palabras, debemos evaluar las diferentes iniciativas para una misma categoría usando los mismos procesos y parámetros. Esto hará que nuestros benchmarks sean confiables.

En otras palabras, para determinar  si una iniciativa tiene probabilidades de ser exitosa,  no es suficiente saber si alcanzó  el score requerido en el estudio pre-lanzamiento.  También necesitamos saber cómo se obtuvo ese score.

Cambios en apariencia menores pueden llevar a resultados distintos.  Por ejemplo, los scores obtenidos ante una pregunta de  intención de uso pueden variar significativamente  dependiendo de si la pregunta se realiza al inicio o el final de la entrevista.

• Tengamos mucho cuidado al seleccionar las muestras. Es clave que reflejen todas las características relevantes del  grupo objetivo relacionadas al uso de nuestro producto o servicio. 

Cuando comencé a gestionar la categoría de aromatizantes de ambiente  para una  multinacional, entre el portafolio de productos que recibí, había uno cuyas ventas eran sumamente bajas, a pesar de haber logrado resultados sobresalientes en los estudios de mercado pre-lanzamiento. 

Para entender qué había ocurrido, le solicitamos a la empresa de investigación que analizara nuevamente el estudio. Se detectó que se había incluido en la muestra de entrevistados un porcentaje desproporcionadamente elevado de “heavy users” de la categoría; lo cual había distorsionado los resultados. El producto nunca tuvo el potencial que indicaba el estudio.     

Finalmente para recordar el reto que enfrentamos los que implementamos estudios de mercado, vale la pena citar a la revista científica Nature en su artículo Challenges in Irreproducible Research: “Ningún estudio puede ser considerado la última palabra.  La réplica y corroboración de los resultados es parte clave del proceso científico. En el estudio de seres humanos, la complejidad de los sistemas y técnicas puede fácilmente llevar a resultados que parecen sólidos, pero que no se mantienen en nuevos estudios”.

(*) “Por qué la mayoría de los aprendizajes de los estudios publicados son falsos”.