15 errores con los datos que deberías evitar

Trampas y obstáculos en los análisis con Business Intelligence

Errores en los datos y cómo evitarlos

1. cherry picking:

El «cherry picking», también conocido como «selección selectiva», es una trampa habitual en el análisis de datos en la que solo se eligen de forma selectiva ciertos datos o información para respaldar una hipótesis, mientras que otros datos relevantes se ignoran a propósito. Este enfoque engañoso puede tergiversar por completo los resultados de un análisis de datos, ya que distorsiona la visión global de los mismos. Así, el «cherry picking» puede, por ejemplo, hacer que una situación se presente mucho mejor o mucho peor de lo que realmente es. Imagina, por ejemplo, que tu departamento de marketing quiere analizar la eficacia de un producto. Si para ello solo se tienen en cuenta las opiniones positivas de los clientes o los casos de éxito, puedes dar por hecho que el análisis mostrará una imagen distorsionada de la realidad. En este caso concreto, el análisis mostrará una imagen muy positiva de la eficiencia del producto. Pero si en realidad hay muchas valoraciones negativas u opiniones críticas que no se tienen en cuenta en el análisis, podría ser que tu producto, en realidad, no sea especialmente eficiente. Así que, para poder optimizar o seguir desarrollando tu producto, es imprescindible que incluyas estas opiniones negativas en el análisis.

Solución: Para evitar el «cherry picking», es fundamental llevar a cabo un análisis de datos sistemático y transparente. Por eso, hay que recopilar todos los datos disponibles, aplicar métodos estadísticos objetivos y publicar todos los datos. Presta especial atención a incluir también los datos que no encajan con la hipótesis que quieres demostrar. Las revisiones por pares y las evaluaciones externas realizadas por expertos independientes también pueden ayudar a detectar y corregir este tipo de sesgos. Al presentar los datos de forma honesta y completa, te aseguras de que los análisis se basen en una base sólida y no se vean afectados por el «cherry picking».

2. sesgo de supervivencia:

El sesgo de supervivencia, también conocido como «survivorship bias», es un sesgo que se produce cuando en un análisis solo se tienen en cuenta los casos que han tenido éxito o que han sobrevivido, mientras que se omiten los casos que no han tenido éxito o que no han sobrevivido. Esto da lugar a una representación poco realista de las perspectivas de éxito, ya que faltan datos importantes sobre los fracasos o los reveses. Este error en los datos puede llevar a conclusiones erróneas, ya que los datos que no se tienen en cuenta pueden constituir una parte importante del panorama general. El sesgo de supervivencia se da, por ejemplo, a menudo en estudios sobre empresas de éxito o personajes famosos. Así, se suelen analizar las historias de empresas o personas que han triunfado, mientras que no se tienen en cuenta las empresas que han fracasado ni las personas desconocidas. Esto lleva a una valoración sesgada de los factores de éxito. Un caso muy citado del sesgo de supervivencia es el estudio de los aviones durante la Segunda Guerra Mundial. Para decidir dónde reforzar el blindaje, primero se examinaron los aviones que habían regresado con agujeros de bala. Basándose en eso, se decidió reforzar las partes con más agujeros de bala. Aunque al principio parecía lógico, había un error crucial: todos los aviones que se habían estrellado por un impacto de bala no estaban incluidos en los datos analizados. Posteriormente se descubrió que las partes del avión que presentaban menos agujeros de bala en el estudio eran precisamente las que había que reforzar sin falta, ya que la mayoría de los aviones se estrellaban precisamente por un impacto en esas zonas.
Solución: Usa una base de datos completa que incluya tanto los casos que han salido bien como los que han fallado para evitar este fenómeno. Como en el ejemplo anterior, no siempre se puede garantizar que se disponga de todos los datos, así que debes examinar los datos con espíritu crítico antes de analizarlos para no sacar conclusiones erróneas. Por eso, ten siempre en cuenta que pueden faltar datos y busca específicamente esos casos para minimizar o evitar el sesgo de supervivencia.

3. efecto cobra:

El «efecto cobra» se refiere a una situación en la que una solución propuesta para un problema tiene efectos secundarios no deseados que agravan el problema o generan otros nuevos. Se trata, por tanto, de un incentivo erróneo. El término viene de una anécdota de la época colonial en la India: por aquel entonces, mucha gente moría allí por mordeduras de cobra. Para librar a la población de las cobras, los colonizadores británicos ofrecieron una recompensa por cada cobra capturada. Por desgracia, no tuvieron en cuenta que eso podría suponer un incentivo erróneo. De hecho, como reacción a ello, los lugareños empezaron a criar cobras para cambiarlas por la recompensa. Cuando el Gobierno puso fin a la iniciativa, estas cobras criadas en cautividad solían liberarse en la naturaleza, lo que provocó un aumento drástico de la población de cobras, en lugar de una disminución.
El efecto cobra también se ve a menudo en la economía: por ejemplo, si un gobierno intenta bajar la inflación reduciendo drásticamente la masa monetaria, esto puede provocar un empeoramiento de la situación económica. Y es que la gente tiene menos dinero para invertir y gastar. Esto, a su vez, puede provocar una caída de la actividad económica.
Solución: Para evitar el «efecto cobra», es fundamental analizar con detenimiento las repercusiones a largo plazo de cada solución propuesta, con el fin de asegurarte de que no se produzcan efectos secundarios no deseados. El diálogo con expertos y partes interesadas puede ayudar a tener en cuenta diferentes perspectivas y a detectar consecuencias imprevistas antes de poner en práctica una solución. También es importante supervisar y ajustar las medidas de forma continua para asegurarte de que se eviten el efecto cobra y otras consecuencias indeseadas similares.

4. falsa causalidad:

La causalidad errónea es un error que se produce cuando se da por hecho que existe una relación de causa y efecto entre dos sucesos, aunque estos solo presenten una correlación aleatoria o haya otras variables ocultas que expliquen esa relación. Un ejemplo clásico es la relación entre el aumento de las ventas de helados y el incremento de los accidentes en las piscinas en verano. Un vistazo rápido a este análisis podría llevarte a pensar que los accidentes en las piscinas se deben al mayor consumo de helados. Pero, en realidad, ambos sucesos se deben a la temporada de calor.
Solución: Asegúrate de distinguir bien entre correlación y causalidad para evitar este error. Una correlación mide la relación estadística entre dos variables. En cambio, las relaciones causales nos dan información sobre la causa y el efecto. Así pues, una correlación puede indicar una relación causal, pero no tiene por qué ser así. Los métodos estadísticos, como los experimentos y los grupos de control, pueden ayudar a identificar relaciones reales de causa y efecto. Por eso, analiza todos los datos disponibles y busca explicaciones alternativas para las correlaciones que observes. Además, un conocimiento profundo del campo específico puede ayudarte a entender mejor las relaciones relevantes y a evitar suposiciones infundadas. Un análisis crítico consciente y una actitud abierta ante las diferentes posibilidades de interpretación son fundamentales para evitar conclusiones erróneas sobre una causalidad falsa.

5. pesca de datos:

El «data fishing», también conocido como «P-hacking» o «data grabbing», se refiere a la práctica de buscar en grandes cantidades de datos resultados o patrones estadísticamente significativos sin comprobar una hipótesis concreta. Esto puede dar lugar a resultados engañosos, ya que, si se realizan suficientes pruebas, es probable que se obtengan resultados estadísticamente significativos, aunque no haya ningún efecto real. Por ejemplo, los investigadores podrían analizar cientos de variables en relación con una variable objetivo concreta y luego presentar solo los resultados que parezcan estadísticamente significativos. Si, por ejemplo, en un ensayo clínico se evalúa el efecto de diferentes dosis de un medicamento sobre diversos síntomas, los investigadores deberían tener en cuenta todos los resultados. Pero si, mediante el «data fishing», solo se selecciona la dosis que muestra un efecto estadísticamente significativo en un síntoma, sin tener en cuenta las demás pruebas, esto puede dar lugar a una representación sesgada de los resultados.
Solución: Para evitar el «data fishing», es importante formular una hipótesis clara antes de recopilar los datos y planificar los métodos de análisis con antelación. Si se realizan varias pruebas, se debería aplicar una corrección, como la prueba de Bonferroni, para reducir el riesgo de resultados falsos positivos. La transparencia y la franqueza también son fundamentales. Por eso, debes documentar todas las pruebas realizadas y sus resultados, incluso si no son significativos. Esto permite una evaluación exhaustiva y evita que se presenten de forma selectiva resultados que podrían estar sesgados por el «data fishing».

6 Sesgo de confirmación:

El sesgo de confirmación, también llamado «error de confirmación», es la tendencia a buscar preferentemente información o datos que confirmen las creencias o hipótesis que ya tienes, mientras que la información contradictoria se ignora o se rechaza. Esto se debe a que, sin darse cuenta, las personas buscan confirmación de lo que ya creen, en lugar de evaluar objetivamente toda la información disponible. Esto puede llevar a una interpretación sesgada de los datos. Un ejemplo práctico sería el de un inversor que tiende a fijarse solo en las noticias y los análisis que respaldan su valoración positiva de una acción, mientras ignora los informes negativos o las advertencias sobre posibles riesgos.
Solución: Para evitar el sesgo de confirmación, es importante ser consciente de esta tendencia y combatirla activamente. Un primer paso es fomentar una mentalidad abierta y crítica. En el ámbito científico, métodos como los ensayos doble ciego y las revisiones por pares ayudan a garantizar evaluaciones objetivas. En tu empresa, puedes recabar opiniones y comentarios de personas con puntos de vista y experiencias diferentes para cuestionar y ampliar tu propio punto de vista. Además, es útil que compruebes tú mismo con regularidad si te mantienes objetivo al evaluar la información o si, sin darte cuenta, buscas confirmaciones. Mediante la autorreflexión consciente y el uso de diferentes perspectivas, se puede minimizar la influencia del sesgo de confirmación.

7 Regresión a la media:

La «regresión a la media» describe el fenómeno por el que los valores extremadamente altos o bajos de una medición tienden a volver a valores menos extremos cuando se repite la medición. Esto ocurre independientemente de cualquier intervención o cambio y se debe a fluctuaciones aleatorias en los datos. Un ejemplo de esto es el rendimiento escolar. Así, es probable que los alumnos que obtienen resultados excepcionalmente buenos en un examen no consigan resultados tan sobresalientes cuando lo repitan más adelante. Esto se debe a fluctuaciones normales, como por ejemplo el estado de ánimo de los alumnos ese día.
Solución: Para evitar la regresión a la media, es importante entender que los valores extremos suelen ser aleatorios y no indican necesariamente una relación de causa y efecto. Por eso, al evaluar el rendimiento o los resultados, no deberías dar demasiada importancia a los valores extremos, ya que suelen volver a valores menos extremos cuando se repite la medición. Es recomendable utilizar métodos estadísticos para detectar el carácter aleatorio de los valores extremos y tener siempre en cuenta el contexto a la hora de interpretar los datos. Las revisiones periódicas y un análisis crítico pueden ayudar a sacar conclusiones fiables sin dejarse influir por las fluctuaciones aleatorias.

8. heurística del ancla:

La heurística del ancla, también conocida como «sesgo de anclaje» o «efecto de ancla», se refiere a la tendencia a dejarse influir mucho por un valor inicial o una información a la hora de tomar decisiones. Aunque ese ancla no tenga nada que ver o se base en una suposición errónea, la gente tiende a guiarse mucho por ella. Por ejemplo, el primer precio que se menciona en una negociación es un punto de referencia que, según se ha demostrado, influye mucho en el resultado de la negociación. Si, por ejemplo, un vendedor fija un precio muy alto, los compradores tenderán a orientar sus propias ofertas más cerca de ese precio elevado.
Solución: Sé consciente de cómo los puntos de referencia pueden influir en nuestras decisiones. Para ello, distánciate activamente del valor mencionado en un primer momento y utiliza criterios de evaluación objetivos. Puede resultar útil plantearte valores de referencia alternativos basados en datos objetivos y utilizarlos como base para tus decisiones. Por ejemplo, en las negociaciones puede ser conveniente centrarte en hechos relevantes y precios comparativos para que un punto de partida fijado de forma arbitraria te influya menos. Una toma de decisiones consciente, basada en datos y análisis sólidos, puede ayudar a minimizar los efectos de la heurística del ancla. A la inversa, esto también se aplica, por ejemplo, cuando quieras recopilar datos. Por ejemplo, si diseñas una encuesta, debes tener en cuenta que los encuestados podrían verse influidos por el efecto de anclaje, lo que a su vez puede afectar a la validez de la encuesta. Por eso, en estos casos, elige los valores de anclaje con mucho cuidado o, si es posible, prescinde de ellos.

9 La paradoja de Simpson:

La paradoja de Simpson describe un fenómeno estadístico en el que la tendencia que se observa en los datos generales es opuesta a la tendencia de los distintos grupos. Esto significa que una observación que aparece en un análisis general puede invertirse cuando los datos se dividen en diferentes subgrupos. Un ejemplo práctico podría ser un estudio sobre el éxito de los tratamientos en dos hospitales diferentes. En el análisis general, un hospital podría presentar una tasa de supervivencia más alta. Sin embargo, si se desglosan los datos según la gravedad de la enfermedad, podría resultar que el otro hospital tenga una mejor tasa de supervivencia en todos los grados de gravedad.
Solución: Para evitar la paradoja de Simpson, es importante prestar mucha atención a las posibles interacciones entre variables en los análisis estadísticos. Si hay diferencias significativas en los datos generales, es recomendable comprobar con más detalle si esas diferencias se mantienen en los subgrupos. Un análisis más detallado, que tenga en cuenta diversas variables y examine las posibles interacciones entre ellas, puede ayudar a detectar y comprender la paradoja. Cuando los datos son muy complejos, suele ser recomendable colaborar con estadísticos o analistas de datos con experiencia para garantizar una interpretación precisa y fiable de los resultados.

10. falacia ecológica:

El «error ecológico» se refiere a la conclusión errónea sobre características individuales basada en datos agregados y de grupo. Este sesgo se produce cuando se extrapolan las relaciones estadísticas a nivel de grupo a los individuos, sin tener en cuenta las diferencias individuales. Piensa, por ejemplo, en una ciudad rica en la que la renta media de los habitantes es muy alta; podrías llegar a la conclusión de que todos los habitantes de la ciudad son ricos. Pero, en realidad, es más probable que, incluso en una ciudad así, haya diferencias de ingresos considerables entre los distintos habitantes, de modo que algunos puedan ser muy ricos y otros, en cambio, muy pobres.
Solución: Para evitar el error ecológico, es importante distinguir entre características agregadas e individuales a la hora de interpretar los datos. Por lo tanto, los análisis de datos no deberían realizarse solo a nivel de grupo, sino también a nivel individual, para tener una idea más precisa de las diferencias reales. Ten en cuenta que los datos agregados no siempre se pueden extrapolar a las experiencias o características individuales; presta atención al contexto de los datos y recurre a fuentes de datos y métodos de análisis adecuados para no sacar conclusiones erróneas.

11 Ley de Goodhart:

La ley de Goodhart, que lleva el nombre del economista británico Charles Goodhart, dice que cualquier relación estadística observada que se convierta en una regla pierde su capacidad predictiva en cuanto se usa para tomar decisiones. En pocas palabras, esto significa que, cuando un indicador o métrica concreta se convierte en la base para recompensas o sanciones, las personas u organizaciones desarrollan estrategias para optimizar ese indicador. Esto suele provocar efectos secundarios no deseados. Por ejemplo, si una empresa usa las cifras de ventas de un producto como indicador de rendimiento para sus empleados del departamento de ventas y como base para una bonificación, estos podrían tender a usar estrategias de venta a corto plazo para conseguir la bonificación. Así, aunque hayas vendido muchos productos, esta estrategia podría tener un efecto perjudicial para tu empresa a largo plazo.
Solución: Para evitar la «ley de Goodhart», es importante desarrollar una evaluación del rendimiento integral y equilibrada. Esto se puede lograr utilizando varios indicadores de rendimiento para evaluar distintos aspectos del mismo. Es recomendable tener en cuenta diferentes perspectivas a la hora de evaluar el rendimiento global de una persona o una organización. Además, es importante revisar y ajustar periódicamente las métricas y los indicadores para asegurarte de que sigan aportando información relevante y significativa, sin fomentar comportamientos indeseados. Un análisis crítico de los indicadores de rendimiento utilizados y de su posible impacto en el comportamiento puede ayudar a minimizar los efectos negativos de la ley de Goodhart.

12. falacia del jugador:

La falacia del jugador, también conocida como «Gambler's Fallacy», es un sesgo cognitivo por el que la gente cree que los acontecimientos aleatorios se ven influidos por sus resultados anteriores o por su frecuencia. Asumen erróneamente que una serie concreta de sucesos, como por ejemplo una larga racha de pérdidas en el juego, tiene que acabar en un resultado positivo en el futuro para restablecer el equilibrio. Un ejemplo sencillo es pensar que, al lanzar una moneda, después de una racha de caras, es más probable que salga cruz. Estadísticamente, es cierto que, a la larga, es probable que el número de caras y de cruces se equilibre en un 50 % cada uno. Sin embargo, cada lanzamiento es independiente del anterior y, por lo tanto, tiene también una probabilidad del 50 % para cada resultado posible. Lo mismo ocurre, por ejemplo, en ventas. Por eso, no deberías dar por hecho que la probabilidad de que un vendedor consiga vender tu producto en la próxima reunión con un cliente aumente si no ha tenido éxito en las últimas reuniones. Más bien, estadísticamente hablando, el vendedor tiene la misma probabilidad de venta en cada reunión.
Solución: Para evitar la falacia del jugador, es importante tener claro que los sucesos aleatorios no se ven influidos por los resultados anteriores. Desde un punto de vista estadístico, las probabilidades no cambian en función de los resultados pasados. Entender los principios básicos de la probabilidad puede ayudarte a tener expectativas realistas y a superar la falacia del jugador.

13. sesgo de regresión:

El sesgo de regresión se produce cuando, al analizar los datos, no se tienen en cuenta todas las variables relevantes, lo que da lugar a una relación errónea entre las variables. Esto puede llevar a predicciones inexactas o a conclusiones erróneas. Por ejemplo, un estudio que analice la relación entre el consumo de chocolate y la esperanza de vida sin tener en cuenta factores como la alimentación, el ejercicio físico o la predisposición genética no sería concluyente. Si solo se analizan el consumo de chocolate y la esperanza de vida, sin tener en cuenta los demás factores que influyen, se crea una imagen distorsionada de la realidad.
Solución: Para evitar el sesgo de regresión, es importante tener en cuenta en el análisis de datos todas las variables relevantes que podrían influir en la relación entre las variables estudiadas. Esto requiere un análisis previo a fondo y un buen conocimiento del tema para identificar posibles factores de influencia. El uso de técnicas estadísticas como la regresión multivariante puede ayudar a analizar varias variables a la vez y a aislar sus efectos individuales. En análisis complejos, también resulta útil contar con la colaboración de expertos y profesionales del ámbito correspondiente para asegurarte de que se tienen en cuenta todas las variables relevantes. Un análisis de datos minucioso y exhaustivo, que tenga en cuenta todos los factores de influencia, es clave para minimizar el riesgo de sesgo de regresión y obtener resultados precisos.

14 Sesgo de la minería de datos:

El sesgo en la minería de datos se refiere a las distorsiones en los resultados de los análisis de datos que pueden surgir por una selección o interpretación inadecuada de los datos. Puede ocurrir, por ejemplo, cuando se realizan análisis en grandes conjuntos de datos para identificar patrones, relaciones o tendencias, y al hacerlo se favorece o se perjudica sin querer a ciertos grupos. Un ejemplo práctico sería un algoritmo para la selección de candidatos que utilice datos históricos, pero que, debido a prejuicios de género o raciales ya existentes, favorezca o perjudique sin querer a candidatos de determinados grupos.
Solución: Para evitar el sesgo en la minería de datos, es importante tener cuidado a la hora de seleccionar e interpretar los datos. Un análisis exhaustivo de los datos debería garantizar que todos los factores y grupos relevantes estén debidamente representados. Las revisiones periódicas de los análisis pueden ayudar a detectar y corregir los sesgos a tiempo. Habría que desarrollar directrices transparentes y éticas sobre el uso de los datos para garantizar que los análisis se realicen de forma justa y equilibrada. La formación y las medidas de sensibilización dirigidas a los analistas de datos y a quienes toman decisiones pueden ayudar a concienciar sobre el sesgo en la minería de datos y garantizar que los análisis sean objetivos y justos. Por último, es importante examinar los resultados con espíritu crítico y buscar explicaciones alternativas para los patrones observados, con el fin de identificar y corregir posibles sesgos.

15. error de disposición (efecto de disposición):

El error de atribución es un sesgo cognitivo por el que la gente tiende a achacar los resultados positivos a sus propias habilidades y decisiones acertadas, mientras que los resultados negativos los atribuyen a circunstancias externas o a la mala suerte. Esto provoca un desequilibrio en la percepción que tenemos de nosotros mismos y puede llevar a tomar decisiones irracionales. A menudo se puede observar este error, por ejemplo, en el mercado de valores: así, muchos inversores ven las ganancias como resultado de sus propios análisis acertados, mientras que las pérdidas se achacan a fluctuaciones imprevisibles del mercado.
Solución: Al igual que con la mayoría de los demás errores relacionados con los datos, un primer paso para evitar el error de disposición es ser consciente de que existe y de que puede darse en muchas situaciones. Reflexionar sobre tus decisiones y estar dispuesto a ver los fracasos como oportunidades para aprender puede ayudarte a mitigar el error de disposición. Además, es útil buscar puntos de vista externos, ya sea a través de revisiones por pares, comentarios de compañeros o el asesoramiento de expertos. Un análisis objetivo de los éxitos y los fracasos, teniendo en cuenta todos los factores relevantes, puede ayudarte a desarrollar una percepción de ti mismo más realista y a prevenir decisiones irracionales. La reflexión periódica y la conciencia de tus propios patrones de pensamiento son fundamentales para detectar el sesgo de disposición y combatirlo de forma activa.

Conclusión

Fieles al lema «nunca te fíes de una estadística que no hayas falsificado tú mismo», también hay que tener en cuenta, a la hora de analizar datos con Business Intelligence, que puede haber muchas trampas o obstáculos. En cuanto conozcas los distintos errores en los datos, desde el «cherry picking» hasta el error de disposición, podrás abordar los resultados de los análisis con espíritu crítico y asegurarte así de que se tomen las decisiones correctas. Con un enfoque transparente y teniendo en cuenta diferentes perspectivas, métodos y técnicas de análisis, se pueden evitar los errores en los datos.

El software de inteligencia empresarial myPARM BI^act ofrece una solución óptima para hacer frente a este tipo de retos. Con su avanzada funcionalidad de análisis de datos, sus opciones de generación de informes transparentes y sus mecanismos integrados para verificar tus datos, myPARM BI^act un análisis de datos preciso y fiable, lo que te proporciona una base sólida para tomar decisiones basadas en datos. Además, con myPARM BI^act puedes convertir las decisiones tomadas en medidas concretas al instante.

¿Desea conocer​ myPARM BI^act en una demostración? Entonces, ¡concierte una cita con nosotros ahora mismo!