Desarrollar productos es difícil. Desarrollar productos que tienen éxito es prácticamente imposible.
Cuando mi amigo Ignacio arrancó su empresa hace casi tres lustros, se pasó varios años leyendo libros de emprendedores, asistiendo a charlas motivadoras y haciendo análisis de todos los datos de los que disponía para asegurar el éxito del producto que estaba desarrollando.
Hace unas semanas nos tomamos un café y me dijo: “¿Sabes lo que he aprendido en 15 años? Que el factor suerte es más importante que cualquier cosa que hagas”
El foco en las métricas
Durante bastante tiempo, el producto que desarrollaba su empresa tenía unas métricas envidiables. Incluso le sirvió para conseguir inversión externa durante los difíciles momentos que siguieron a la crisis del 2008.
Sin embargo, algo no terminaba de ir bien.
Como me dijo una vez, las métricas se parecían más a tapones de un barco que hacía aguas que a trampolines que impulsarle al siguiente nivel.
Cuando ponía el foco en una métrica ésta mejoraba, pero en contraste, otra empeoraba. Cuando se enfocaban en la segunda, la primera dejaba de mostrar buenas tendencias.
Aquí intervienen varios factores que hay que tener en cuenta para entender la situación.
La pérdida del valor informativo
En el libro Measuring and Managing Performance in Organizations, Robert Austin explica que una vez que convertimos una métrica en el objetivo de un incentivo -véase las comisiones por ventas- con el objetivo de mejorar su rendimiento, automáticamente pierde su capaz de informarnos de la realidad de la situación.
La agente comercial que sabe que una parte de su sueldo depende del número de ventas que haga tenderá a jugar con los números, ya sea contabilizando posibles ventas de dudoso valor o moviéndolas entre trimestres o meses naturales dependiendo del cálculo de los incentivos.
El teleoperador que sabe que necesita un número mínimo de valoraciones positivas para cobrar un incentivo que puede suponer el 10% de su salario mensual desarrollará estrategias para evitar que los clientes descontentos lleguen a realizar la valoración; por ejemplo invitándoles a terminar la llamada antes de la encuesta de satisfacción.
Los equipos Scrum que ponen el foco en las mecánicas del framework probablemente terminen siendo poco efectivos, tal y como comentaba en un artículo previo y sus iniciativas ágiles es posible que terminen muriendo.
Un caso interesante de este tipo de situaciones se puede ver en el episodio dedicado al banco Wells Fargo de Dirty Money en Netflix. Durante varios años, los ejecutivos del banco ligaron el rendimiento de sus empleados exclusivamente a su capacidad de vender productos financieros. Esto desemboco en una cultura tóxica en la que los empleados del otrora banco familiar y confianza de las diligencias del oeste americano, terminaron estafando a su clientes, empleados y familiares con el único objetivo de cumplir con los objetivos impuestos por la empresa.
Cuanto más notable sea un dato, más probabilidad de que sea erróneo
El motivo es que los errores y la manipulación de datos son más comunes que los resultados genuinos. Cualquier investigador sabe que tras cientos o miles de horas de preparación de hipótesis, toma de datos y análisis lo más probable es que obtengamos conclusiones aburridas.
Esto se conoce como la ley de Twyman y es una de las leyes más importantes en análisis de datos.
Los descubrimientos disruptivos o Breakthoughs son poco comunes. Menos de lo que podamos imaginar. Por tanto, según Twyman, cuando observemos datos extremadamente notables, lo primero que deberíamos de hacer es dudar de ellos.
Es por esto que en ciencia se recurre constantemente a la revisión por pares y a la refutación de hipótesis replicando estudios.
El objetivo es asegurar que aquellas cosas que damos por sentadas son realmente correctas.
El pasado año un caso sobre posible fraude en la toma de datos puso al investigador Dan Ariely, conocido por sus estudios sobre la honestidad, al pie del cañon.
Ariely, una conocida estrella mediática, condujo una serie de estudios sobre honestidad en los que intentaba descubrir por qué las personas mentimos. A raiz del estreno del documental (Dis)Honesty: The truth about lies, algunos investigadores intentaron replicar sus resultados sin éxito.
Esto desembocó en una acusación de que el autor habría fabricado los datos de sus investigaciones para que arrojaran los datos que él esperaba sobre las mismas.
El caso sigue en investigación por la Universidad de Duke y no deja de ser paradójico que el autor de una investigación sobre deshonestidad termine siendo acusado de fraude.
El sesgo de confirmación
Por último, existe el sesgo de confirmación, por el cual tendemos a prestar más atención a aquellas cosas que esperamos confirmen nuestras propias creencias.
Cuando uno pasa horas escuchando que es posible tener éxito y conoce historias de emprendedores de éxito, cualquier dato que confirme la creencia de que va por el camino correcto será, por definición, un dato importante.
Nunca conoceremos a aquellos que han fracasado por el camino. Solo a los supervivientes.
Si trabajamos desarrollando productos o prestando un servicio susceptible de ser medido, es importante que tengamos en cuenta que los datos son datos, y que las historias que contamos sobre ellos son interpretaciones de los mismos.
En la medida que estos datos son revisable, accesibles y verificables, podemos estar seguro de que al menos estamos sacando conclusiones sobre algo que -en principio- es correcto, nunca que nuestras conclusiones sean correctas.
